TMT观察网_独特视角观察TMT行业

4 月 6 日消息，一項新研究似乎為 OpenAI 至少使用部分受版權保護內容來訓練其人工智能模型的指控提供了依據。

注意到，OpenAI 正面臨由作家、程序員以及其他版權持有者提起的訴訟，這些原告指責該公司在未經許可的情況下，使用他們的作品 —— 包括書籍、代碼庫等，來開發其模型。盡管 OpenAI 一直聲稱其享有合理使用的抗辯理由，但原告方則認為美國版權法中并無針對訓練數據的豁免條款。

該研究由華盛頓大學、哥本哈根大學和斯坦福大學的研究人員共同撰寫，提出了一種新方法，用于識別像 OpenAI 這樣通過應用程序接口（API）提供服務的模型所“記憶”的訓練數據。

AI 模型本質上是預測引擎，通過大量數據訓練，它們能夠學習各種模式，從而生成文章、照片等。雖然大多數輸出并非訓練數據的逐字復制，但由于模型的“學習”方式，部分內容不可避免地會被模型記憶下來。此前已有研究發現，圖像模型會重復生成其訓練數據中電影的截圖，而語言模型則被觀察到存在剽竊新聞文章的行為。

該研究的核心方法依賴于研究人員提出的“高意外性”詞匯，即在大量作品中顯得不常見的詞匯。例如，在句子“Jack and I sat perfectly still with the radar humming”中，“radar”（雷達）一詞被認為是高意外性的，因為從統計學角度來看，它出現在“humming”（嗡嗡作響）之前的可能性比“engine”（引擎）或“radio”（收音機）等詞要低。

共同作者對包括 GPT-4 和 GPT-3.5 在內的幾種 OpenAI 模型進行了測試，通過從虛構小說片段和《紐約時報》文章中移除高意外性詞匯，然后讓模型嘗試“猜測”被屏蔽的詞匯，來尋找記憶跡象。研究人員認為，如果模型能夠成功猜出這些詞語，則很可能表明該模型在訓練過程中記憶了這些片段。

根據測試結果，GPT-4 顯示出記住了流行小說書籍的部分內容，包括一個包含受版權保護電子書樣本的數據集 BookMIA 中的書籍。結果還表明，該模型記住了《紐約時報》文章的部分內容，盡管比例相對較低。

華盛頓大學的博士生、該研究的共同作者阿比拉沙?拉維奇漢德（Abhilasha Ravichander）對 TechCrunch 表示，這些發現揭示了模型可能接受訓練的“有爭議的數據”。

長期以來，OpenAI 一直倡導放寬對使用受版權保護數據開發模型的限制。盡管該公司已經達成了一些內容許可協議，并提供了允許版權所有者標記不希望其用于訓練的內容的退出機制，但該公司一直在游說多個政府將圍繞人工智能訓練方法的“合理使用”規則編入法典。（遠洋）