·山姆·奧特曼表示，新的進(jìn)步不會(huì)來自于讓模型變得更大，“我認(rèn)為我們正處于巨型模型時(shí)代的末尾”。他的說法表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個(gè)重大進(jìn)展。

(資料圖片)

人工智能開發(fā)機(jī)構(gòu)OpenAI的首席執(zhí)行官山姆·奧特曼最近表示，ChatGPT的研究策略——巨型AI模型模式已經(jīng)結(jié)束，目前尚不清楚未來的進(jìn)步究竟來自何處。

近年來，OpenAI通過采用現(xiàn)有的機(jī)器學(xué)習(xí)算法并將其擴(kuò)展到以前無法想象的規(guī)模，取得了一系列令人印象深刻的進(jìn)步。GPT-4是其推出的最新模型，可能使用了數(shù)萬億個(gè)文本單詞和數(shù)千個(gè)強(qiáng)大的計(jì)算機(jī)芯片訓(xùn)練，整個(gè)過程耗資超過1億美元。

奧特曼上周在麻省理工學(xué)院舉行的一次活動(dòng)中告訴觀眾，新的進(jìn)步不會(huì)來自于讓模型變得更大。“我認(rèn)為我們正處于巨型模型時(shí)代的末尾。”他說，“我們會(huì)以其他方式讓它們變得更好?！?/p>

科技媒體《連線》4月17日報(bào)道稱，奧特曼的聲明表明，在開發(fā)和部署新AI算法的競賽中出現(xiàn)了意想不到的轉(zhuǎn)折。未來人工智能的進(jìn)步將需要新的想法。

自O(shè)penAI于去年11月推出ChatGPT以來，微軟利用底層技術(shù)為其必應(yīng)搜索引擎添加了聊天機(jī)器人，而谷歌則推出了聊天機(jī)器人Bard。與此同時(shí)，包括Anthropic、AI21、Cohere和Character.AI在內(nèi)的眾多資金充足的初創(chuàng)公司正在投入大量資源來構(gòu)建更大的算法，以努力趕上OpenAI的技術(shù)。在中國，大批企業(yè)爭相公布大模型產(chǎn)品，試圖盡快擠入這個(gè)賽道。

奧特曼的聲明表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個(gè)重大進(jìn)展。他沒有提出什么樣的研究策略或技術(shù)可能會(huì)取代它。在描述GPT-4的論文中，OpenAI估計(jì)，擴(kuò)大模型規(guī)模的收益在遞減。奧特曼表示，企業(yè)可以建造的數(shù)據(jù)中心數(shù)量和建造速度也存在物理限制。

Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特（Nick Frosst）表示，奧特曼的想法聽起來是對(duì)的。他也認(rèn)為，Transformer（GPT-4及其競爭對(duì)手的核心機(jī)器學(xué)習(xí)模型類型）的進(jìn)展超出了擴(kuò)展范圍?！坝泻芏喾椒梢宰孴ransformer變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)。”他說，新的AI模型設(shè)計(jì)或架構(gòu)，以及基于人類反饋的進(jìn)一步調(diào)整是許多研究人員已經(jīng)在探索的有前途的方向。

在ChatGPT首次亮相后，技術(shù)專家推測GPT-4出現(xiàn)時(shí)將成為規(guī)模和復(fù)雜性令人眩暈的典范。然而，當(dāng)OpenAI最終宣布GPT-4時(shí)，并沒有透露它的參數(shù)規(guī)模有多大——也許是因?yàn)橐?guī)模不再是最重要的。在麻省理工學(xué)院的活動(dòng)上，奧特曼被問及訓(xùn)練GPT-4是否花費(fèi)了1億美元，他回答說：“不止于此。”

在這個(gè)活動(dòng)中，奧特曼也證實(shí)OpenAI目前沒有訓(xùn)練GPT-5。他在回應(yīng)呼吁暫停更高級(jí)AI訓(xùn)練的公開信時(shí)表示， “這封信的早期版本聲稱OpenAI目前正在訓(xùn)練GPT-5。我們沒有，而且一段時(shí)間內(nèi)不會(huì)?！?/p>

作者：方曉來源：澎湃新聞