在一個繁忙的星期四，由IAB Tech Lab組織的工作會議在紐約市展開，吸引了來自全球的70多家公司參與，包括來自亞馬遜、Meta、微軟以及Google等科技巨頭的代表，以及來自35家出版社的業內人士。此次工作坊的焦點是探討如何在AI的使用和內容付費方面建立新的行業標準。

背景與挑戰

隨著人工智慧技術的迅速發展，越來越多的出版商開始關注如何在這一波技術浪潮中釐清權益。大眾期望在面對不斷壯大的大型語言模型（LLM）時，各出版商能保持話語權與公平交易。問題的核心在於如何讓AI系統使用出版商內容進行學習，而同時確保出版商獲得相應的收益。更具挑戰的是，如何在技術實現與版權保護之間取得平衡，也考驗著各方的智慧。

會議重點

此次會議的核心議題之一在於應否阻擋AI系統的爬取行為。部分出版商認為，可以採取更強硬的措施，直接阻擋AI系統的數據爬取，以促成有利於自身的交易條件。相對而言，一些出版商對大規模屏蔽策略表示擔憂，擔心因此被排除在未來的合作之外。

亞馬遜、Google、微軟與Meta等企業作為行業重要參與者，他們的出席無疑為此次會議增添了重要性。IAB Tech Lab的首席執行官Anthony Katsur表示，此次可以看到來自大量出版商的參與，而他希望在未來的會議中又更多的出版商參與其中，形成更廣泛的代表性。

探索新的框架

IAB技術實驗室提出了一個名為內容貨幣化協議（CoMP）的框架，旨在提供API接口集，讓大型語言模型（LLM）能以更符合出版商利益的方式使用其內容，以期達成雙贏局面。

目前的優先目標之一是建立一個更好方式的內容分類和結構化數據分類體系，以便AI系統和搜索引擎能更好地識別和有效運用這些內容。這不僅有助於提高連接效率，也助於確保當AI爬蟲獲得批准進行爬取時，能以一種更加有意義和高效的方式運行。

全球的視野與討論

這場有關AI與內容使用的辯論並非美國所獨有，而是具有全球影響。在德國科隆的Dmexco會議上，IAB的Anthony Katsur與當地的出版機構會面，討論了框架的運行細節。在兩地討論的基礎上，接下來IAB將在倫敦召開另一場圓桌會議，讓英國的出版商有更多的參與機會。

而除了IAB伍特拉布技術實驗室，其他機構如互聯網工程任務組（IETF）和萬維網聯盟（W3C）也在為如何標識和管理AI爬蟲行為定立標準進行討論。目前，一些基礎設施公司如Cloudflare已經推出工具，方便出版商批量更新robots.txt文件，以應對AI爬蟲。

結語

整體而言，這不僅是技術與內容間的權衡，更是行業標準化進程中的一部分。隨著全球生態的形成，出版商需要找到一個中立的框架，以便各方在一個公平和共同的基礎上合作。這樣的協作不僅有助於維持內容的價值，亦確保科技進步與利益分享間的平衡。