·“（該模型） 仍然存在很多問題和錯誤……但你確實可以看到微積分或法律等技能的飛躍，從某些領(lǐng)域的非常糟糕到相對于人類來說實際上相當好。 ”

(資料圖片)

·從長遠來看，OpenAI計劃構(gòu)建和部署可以處理多種媒體的系統(tǒng)，包括聲音和視頻。“我們可以采用所有這些通用知識技能，并將它們傳播到各種不同領(lǐng)域。這將技術(shù)帶入了一個全新的領(lǐng)域?！?/p>

人工智能研究機構(gòu)OpenAI 3月14日發(fā)布了備受期待的文本生成AI模型GPT-4。GPT-4在關(guān)鍵方面對其前代GPT-3進行了改進，例如提供更符合事實的陳述，并允許開發(fā)人員更輕松地規(guī)定其風格和行為。它是多模態(tài)的模型，可以理解圖像內(nèi)容。但是，GPT-4也有嚴重的缺陷，與GPT-3一樣，該模型會產(chǎn)生“幻覺”并犯下基本的推理錯誤。

GPT-4發(fā)布后，多家媒體關(guān)注的焦點是，OpenAI并沒有透露很多細節(jié)，包括該模型有多大的參數(shù)，性能為什么更好。“GPT-4是該公司發(fā)布過的最機密的版本，標志著其從非營利性研究實驗室全面轉(zhuǎn)變?yōu)闋I利性科技公司?！薄堵槭±砉た萍荚u論》的文章稱。

OpenAI的首席科學(xué)家伊利亞·蘇茨克沃（Ilya Sutskever）在公告發(fā)布一個小時后通過視頻通話與GPT-4團隊成員交談時說：“你知道，我們目前無法對此發(fā)表評論?！薄案偁幏浅＜ち摇！?/p>

為了更好地了解GPT-4的開發(fā)周期及其功能和局限性，科技媒體TechCrunch 14日采訪了OpenAI的聯(lián)合創(chuàng)始人兼總裁格雷格·布羅克曼（Greg Brockman）。當被要求比較GPT-4和GPT-3時，布羅克曼說：“就是不同?！薄埃ㄔ撃Ｐ停?仍然存在很多問題和錯誤……但你確實可以看到微積分或法律等技能的飛躍，從某些領(lǐng)域的非常糟糕到相對于人類來說實際上相當好。 ”

OpenAI高層，總左到右為首席技術(shù)官米拉·穆拉蒂、首席執(zhí)行官山姆·奧特曼，總裁格雷格·布羅克曼，首席科學(xué)家伊利亞·蘇茨克沃。圖片來源：Jim Wilson

到底有多大的訓(xùn)練參數(shù)？

測試結(jié)果顯示，在美國大學(xué)先修課程微積分BC考試中，GPT-4獲得4分（滿分5分），而GPT-3獲得1分。GPT-3.5是GPT-3和GPT-4的中間模型，也獲得4分。模擬律師考試方面，GPT-4以排名前10%的成績通過，GPT-3.5的分數(shù)徘徊在后10%左右。（詳見澎湃科技報道《OpenAI發(fā)布多模態(tài)大模型GPT-4：直接開放API，ChatGPT升級》）

GPT-4更有趣的方面之一是多模態(tài)。與GPT-3和GPT-3.5只能接受文本提示不同，GPT-4可以接受圖像和文本提示來執(zhí)行某些操作。這是因為GPT-4接受了圖像和文本數(shù)據(jù)的訓(xùn)練，而其前代僅接受了文本訓(xùn)練。

GPT是Generative Pre-training Transformer（生成式預(yù)訓(xùn)練Transformer）的縮寫。OpenAI于2018年推出具有1.17億個參數(shù)的GPT-1模型，2019年推出具有15億個參數(shù)的GPT-2，2020年推出有1750億個參數(shù)的GPT-3。ChatGPT是OpenAI對GPT-3模型微調(diào)后開發(fā)出來的對話機器人。

但是，OpenAI這次選擇不透露GPT-4訓(xùn)練數(shù)據(jù)的具體規(guī)模。在新聞公告里，OpenAI只表示，它使用與ChatGPT相同的方法取得了這些結(jié)果，通過人類反饋強化學(xué)習(xí)。這要求人類評分者對來自模型的不同響應(yīng)進行評分，并使用這些分數(shù)來改進未來的輸出。

OpenAI表示，訓(xùn)練數(shù)據(jù)來自“各種許可、創(chuàng)建和公開可用的數(shù)據(jù)源，其中可能包括公開可用的個人信息”，但當被詢問具體細節(jié)時，布羅克曼拒絕了TechCrunch的詢問。據(jù)悉，訓(xùn)練數(shù)據(jù)之前曾讓OpenAI陷入關(guān)于版權(quán)的法律糾紛。

在接受《紐約時報》的采訪時，布羅克曼則表示，OpenAI的數(shù)據(jù)集是“互聯(lián)網(wǎng)規(guī)模的”，這意味著它涵蓋了足夠多的網(wǎng)站，可以提供互聯(lián)網(wǎng)上所有說英語的人的代表性樣本。

OpenAI的工作人員在辦公。圖片來源：Jim Wilson

“緩慢而有目的”地推廣圖像功能

GPT-4的圖像理解能力令人印象深刻。例如，輸入提示“這張圖片有什么好笑的？一個面板一個面板地描述它”，加上一張三面板圖像，顯示一條假VGA電纜被插入iPhone，GPT-4給出了每個面板的詳細描述并正確解釋了這個笑話：這個圖像中的幽默來自于荒謬地將過時的大的VGA連接器插入小的現(xiàn)代智能手機充電口。

GPT-4解讀圖像內(nèi)容。

“在過去幾年里，一個好的多模態(tài)模型一直是許多大型技術(shù)實驗室的圣杯?！遍_源大型語言模型BLOOM背后的人工智能初創(chuàng)公司Hugging Face的聯(lián)合創(chuàng)始人托馬斯·沃爾夫（Thomas Wolf）說， “但它仍然難以捉摸?！?/p>

從理論上講，結(jié)合文本和圖像可以讓多模態(tài)模型更好地理解世界?！八赡苣軌蚪鉀Q語言模型的傳統(tǒng)弱點，比如空間推理?！蔽譅柗蛘f。尚不清楚GPT-4是否如此。

目前只有一個OpenAI的合作伙伴可以使用GPT-4的圖像分析功能——一款名為Be My Eyes的視障人士輔助應(yīng)用程序（詳見澎湃科技報道《第一批公司已采用GPT-4，都用它來做些什么？》。布羅克曼表示，隨著OpenAI評估風險和收益，無論何時進行更廣泛的推廣，都將是“緩慢而有目的”的。

布羅克曼說，面部識別以及如何處理人物圖像等方面存在政策問題?！薄拔覀冃枰宄ｋU區(qū)域在哪里，紅線在哪里，然后隨著時間的推移弄清楚這一點?！?/p>

此前，OpenAI圍繞其文本到圖像系統(tǒng)DALL-E 2面臨了類似的道德困境。在最初禁用該功能后，OpenAI又允許用戶上傳人臉以使用人工智能圖像生成系統(tǒng)對其進行編輯。當時，OpenAI稱其安全系統(tǒng)的升級使面部編輯功能成為可能，因為最大限度地減少了深度造假，以及試圖創(chuàng)造性、政治和暴力內(nèi)容的潛在危害。

“從每3個月發(fā)布一個新模型轉(zhuǎn)向不斷改進”

另一個老問題是防止GPT-4以可能造成傷害的方式被使用，包括心理、金錢等方面。該模型發(fā)布數(shù)小時后，以色列網(wǎng)絡(luò)安全初創(chuàng)公司Adversa AI發(fā)布了一篇博文，展示了繞過OpenAI內(nèi)容過濾器并讓GPT-4生成網(wǎng)絡(luò)釣魚電子郵件、對同性戀者的攻擊性描述和其他令人反感的文本的方法。

這在語言模型領(lǐng)域并不是一個新現(xiàn)象。Meta的BlenderBot和ChatGPT也被提示說出非常冒犯的話，甚至透露有關(guān)其內(nèi)部運作的敏感細節(jié)。但許多人曾希望，GPT-4可能會在這方面帶來重大改進。

當被問及GPT-4的穩(wěn)健性時，布羅克曼強調(diào)該模型已經(jīng)接受了5個月的安全訓(xùn)練，并且在內(nèi)部測試中，它響應(yīng)OpenAI政策不允許的內(nèi)容請求的可能性降低了82%。

“我們花了很多時間試圖了解GPT-4的能力。”布羅克曼說，“把它帶到外面的世界是我們學(xué)習(xí)的方式。我們不斷進行更新，包括一堆改進，這樣模型就更能擴展到你希望它處于的任何個性或某種模式?！?/p>

布羅克曼并不否認GPT-4的不足，但他強調(diào)了該模型新的緩解性控制工具，包括一種稱為“系統(tǒng)”消息的API（應(yīng)用程序編程接口）級能力。系統(tǒng)消息本質(zhì)上是為GPT-4的互動設(shè)定基調(diào)并建立界限的指令。例如，一條系統(tǒng)信息可能是這樣的：“你是一個總是以蘇格拉底方式回答問題的輔導(dǎo)員。你從不給學(xué)生答案，而總是試圖提出正確的問題，幫助他們學(xué)會自己思考?！毕到y(tǒng)信息作為護欄，可以防止GPT-4偏離方向。

“真正弄清楚GPT-4的語氣、風格和內(nèi)容一直是我們的一個重要焦點?！辈剪斂寺f，“我認為我們開始有點了解如何做工程，如何有一個可重復(fù)的過程，讓你得到可預(yù)測的結(jié)果，對人們真正有用?！?/p>

布羅克曼還提到了Evals，這是OpenAI剛剛開源的軟件框架，用于評估其人工智能模型的性能，是OpenAI致力于“健全”其模型的一個標志。Evals讓用戶開發(fā)和運行評估GPT-4等模型的基準，同時檢查其性能，這是一種模型測試的眾包方法。

“通過Evals，我們可以以一種系統(tǒng)的形式看到用戶關(guān)心的（用例），能夠進行測試。”布羅克曼說，“我們（開源）的部分原因是，我們正在從每3個月發(fā)布一個新模型轉(zhuǎn)向不斷改進。做東西應(yīng)該要衡量，對嗎？當我們制作新的版本時，我們至少可以知道這些變化是什么?！?/p>

新的上下文窗口

布羅克曼還談到了GPT-4的上下文窗口（context window），它指的是模型在生成其他文本之前可以考慮的文本。OpenAI正在測試GPT-4的一個版本，它可以“記住”大約50頁的內(nèi)容，是普通版GPT-4在其“記憶”中所能容納的內(nèi)容的五倍，是GPT-3的八倍。

布羅克曼認為，擴大的上下文窗口會帶來新的、以前沒有探索過的應(yīng)用，特別是在企業(yè)中。他設(shè)想了一個為公司建造的人工智能聊天機器人，利用來自包括各部門員工的不同來源的背景和知識，以一種非常明智但對話性的方式回答問題。

這不是一個新概念。但布羅克曼提出的理由是，GPT-4的答案將比今天的聊天機器人和搜索引擎的答案有用得多。

“以前，該模型對你是誰、你對什么感興趣等沒有任何了解?！辈悸蹇寺f，有了這種歷史（更大的上下文窗口），肯定會讓它更有能力......它會使人們能做的事更多?！?/p>

科學(xué)交流類似于產(chǎn)品新聞稿

即使看過了布羅克曼的采訪，但GPT-4還有很多謎團沒有解開。“OpenAI現(xiàn)在是一家完全封閉的公司，其科學(xué)交流類似于產(chǎn)品新聞稿?！蔽譅柗蛘f。

《麻省理工科技評論》認為，當下，GPT-4與其他多模態(tài)模型并駕齊驅(qū)，包括來自人工智能研究機構(gòu)DeepMind的Flamingo。Hugging Face也正在開發(fā)一種開源多模態(tài)模型，其他人可以免費使用和改編該模型。面對這樣的競爭，OpenAI將GPT-4更多地視為產(chǎn)品挑逗，而不是研究更新。

目前，構(gòu)建和服務(wù)聊天機器人非常昂貴，因為它是在更大量的數(shù)據(jù)上訓(xùn)練的，所以GPT-4會增加OpenAI的成本。OpenAI的首席技術(shù)官米拉·穆拉蒂（Mira Murati）告訴《紐約時報》，如果該服務(wù)產(chǎn)生過多流量，該公司可能會限制對該服務(wù)的訪問。

但從長遠來看，OpenAI計劃構(gòu)建和部署可以處理多種媒體的系統(tǒng)，包括聲音和視頻。“我們可以采用所有這些通用知識技能，并將它們傳播到各種不同領(lǐng)域?！辈剂_克曼說，“這將技術(shù)帶入了一個全新的領(lǐng)域?！?/p>

許多其他公司正在排隊等候?！皩τ诖蠖鄶?shù)公司來說，啟動這種規(guī)模的模型的成本是無法承受的，但是OpenAI所采用的方法使大型語言模型對于初創(chuàng)公司來說非常容易獲得?！盩ola Capital的聯(lián)合創(chuàng)始人謝拉·古拉提（Sheila Gulati）說， “這將在GPT-4之上催化巨大的創(chuàng)新。

關(guān)鍵詞：