誰能想到，震驚整個(gè)科技圈的內(nèi)斗起因卻是一封信。
據(jù)路透社報(bào)道，在薩姆·奧爾特曼被解雇之前，OpenAI 的一名研究員向該公司董事會(huì)發(fā)出了一封舉報(bào)信，警告強(qiáng)大的人工智能可能威脅人類。
這是一個(gè)名為 Q*（讀作：Q-stard）的 AI 模型。 知情人士表示，這可能是OpenAI在AGI方向的最新突破。
長(zhǎng)期以來，硅谷大佬們一直在爭(zhēng)論“AI安全”。
或許這就是為什么這個(gè)可能是下一個(gè)革命性技術(shù)的最新發(fā)現(xiàn)被業(yè)內(nèi)人士提前曝光。
目前關(guān)于新模型到底是什么的信息非常少，但從 OpenAI 社區(qū)消息中可以看出，大多數(shù)人并不歡迎 Q* 的到來。
Q*是什么
根據(jù)外媒的曝光，我們先簡(jiǎn)單介紹一下Q*。
Q*的前身是Ilya Sutskever團(tuán)隊(duì)于2021年推出的GPT-zero項(xiàng)目，旨在解決合成數(shù)據(jù)的問題。
如果說過去訓(xùn)練大型模型的數(shù)據(jù)大部分來自互聯(lián)網(wǎng)上的個(gè)人數(shù)據(jù)，那么GPT-zero項(xiàng)目可以用計(jì)算機(jī)生成的數(shù)據(jù)進(jìn)行訓(xùn)練，一下子解決了數(shù)據(jù)源的瓶頸。
對(duì)于AI公司來說，數(shù)據(jù)也是一種資源。 尤其是高質(zhì)量的語言數(shù)據(jù)直接決定了大型模型的質(zhì)量。
面對(duì)大規(guī)模模型混戰(zhàn)，人工智能公司從數(shù)十億個(gè)參數(shù)開始，并向它們提供 TB 級(jí)的數(shù)據(jù)集。 不僅數(shù)據(jù)集可能會(huì)耗盡，而且價(jià)格也在上漲。
因此，當(dāng)合成數(shù)據(jù)出現(xiàn)時(shí)，它可以像永動(dòng)機(jī)一樣無限地產(chǎn)生高質(zhì)量的數(shù)據(jù)來解決數(shù)據(jù)問題。
在談到 GPT-zero 項(xiàng)目時(shí)，馬斯克還評(píng)論道：“合成數(shù)據(jù)將超過無數(shù)。（合成數(shù)據(jù)可以超過 1ZB）。”
與現(xiàn)有數(shù)據(jù)相比，它可以裝在一個(gè)硬盤上（有點(diǎn)可悲的是，你可以在一個(gè)硬盤上裝下人類有史以來寫的每一本書的文本）。
基于 GPT-zero 的研究成果，OpenAI 的兩位高級(jí)研究員 Jakub Pachocki 和 Szymon Sidor 構(gòu)建了 Q* 模型。
雖然目前水平可能不高（小學(xué)生的數(shù)學(xué)能力），但專業(yè)人士認(rèn)為該模型可以解決以前從未見過的數(shù)學(xué)問題。
而這就涉及到另一個(gè)技術(shù)——Q-learning算法。
這是一種經(jīng)典的強(qiáng)化學(xué)習(xí)算法，具有很強(qiáng)的規(guī)劃能力，但不具有普適性和泛化性。 大模型的優(yōu)點(diǎn)在于大模型具有幾乎人類水平的泛化能力，也就是舉一反三。
那么兩者合而為一之后，這個(gè)兼具規(guī)劃和泛化能力的大模型就非常接近人腦了，可以自主學(xué)習(xí)和提高。 最終結(jié)果：大概率自主決策，并具有輕微的自我意識(shí)，成為接近超越人類的AGI。
如果報(bào)道屬實(shí)，我們可以想象保守派代表Ilya Sutskever因商業(yè)化和安全理念的差異而主導(dǎo)高調(diào)罷免奧特曼。
就在今年 7 月，Ilya Sutskever 組建了一個(gè)團(tuán)隊(duì)，致力于限制人工智能潛在的安全威脅。
Altman 重返 OpenAI 后，Ilya Sutskever 未能繼續(xù)留在董事會(huì)。
圖片| Ilya Sutskever 在 Ted 上談?wù)撊斯ぶ悄馨踩?/p>
目前，OpenAI 尚未對(duì) Q* 的報(bào)道做出回應(yīng)。 OpenAI是否實(shí)現(xiàn)了AGI，我們只能等待后續(xù)報(bào)道。
人們擔(dān)心什么？
報(bào)告發(fā)布后，OpenAI開發(fā)者論壇上網(wǎng)友們開始了熱烈討論。
從幾條好評(píng)評(píng)論可以看出，大多數(shù)人還是對(duì)Q*的到來感到擔(dān)心。
很多人表示，AGI來的比想象的要快，它帶來的負(fù)面影響甚至比大模型本身還要大。
這不免讓人想起此前硅谷大佬們關(guān)于“AI安全”的爭(zhēng)論——為何在新時(shí)代到來之前就開始出現(xiàn)恐懼和不安？
我們以 DeepMind 最近發(fā)表的論文作為參考。
要評(píng)估一個(gè)系統(tǒng)是否滿足AGI的定義，需要考慮六個(gè)維度：廣泛性和性能、自主性、持久性、遞歸自我完善、自主任務(wù)選擇和目標(biāo)驅(qū)動(dòng)。
其中，僅就廣度和性能而言，AGI的最高水平是Super human AGI，這意味著它在所有任務(wù)上都可以超過人類100%。 只有這樣，我們才能實(shí)現(xiàn)真正的AGI。
如果我們對(duì)應(yīng)到其他維度，我們可以發(fā)現(xiàn)AGI的發(fā)展實(shí)際上會(huì)引發(fā)很多倫理和安全問題。
最終，在機(jī)遇面前，風(fēng)險(xiǎn)也是不可避免的：在某些特定領(lǐng)域，AGI可能超越人類，在關(guān)鍵角色上取代人類，或者進(jìn)行遞歸的自我完善。 一旦這樣的AGI最終實(shí)現(xiàn)，它將徹底改變我們的社會(huì)、經(jīng)濟(jì)和文化。
有趣的是，網(wǎng)友對(duì)AGI的恐懼其實(shí)更多是出于對(duì)AI公司壟斷的擔(dān)憂。
從上一篇文章可以看出，定義AGI是一件非常復(fù)雜的事情。 如果你問不同的人工智能專家，他們可能會(huì)給出不同但相關(guān)的答案。
在這種情況下，完全由人工智能公司的領(lǐng)導(dǎo)者來決定某件事是否是AGI。
一旦人工智能實(shí)現(xiàn)商業(yè)可行性并擁有既得利益，這樣的產(chǎn)品很可能成為“壟斷”。
我們都知道薩姆·奧爾特曼其實(shí)是一個(gè)特別致力于AI商業(yè)化的人。 作為激進(jìn)派的代表，薩姆·奧爾特曼一直對(duì)AGI抱有最積極的態(tài)度。
然而，在非盈利的治理結(jié)構(gòu)下，無論是山姆·奧爾特曼還是微軟，一旦開始從事危險(xiǎn)的或違背人類利益的事情，董事會(huì)就可以直接將其開除。
這也與這起事件的早期發(fā)展非常相似。
不過，隨著 Sam Altman 重返 OpenAI 并重組董事會(huì)，現(xiàn)有三名董事均不是獨(dú)立董事。 換句話說，董事會(huì)實(shí)際上無法開除。 連他自己都被顛覆了。
在缺乏監(jiān)管的情況下，OpenAI 僅受政府監(jiān)管機(jī)構(gòu)的限制。
然而，作為OpenAI背后的主要資助者，微軟在美國(guó)政府的AI監(jiān)管中一直在推動(dòng)AI方面發(fā)揮著積極的作用。 最終，政府監(jiān)管對(duì)OpenAI的影響會(huì)越來越小。
在利益面前，似乎很少有人在討論Q*甚至AGI技術(shù)本身。