圖靈獎和諾獎得主辛頓最新訪談：1 萬個 AI 可以瞬間共享同一份“靈魂”，這就是為什么人類注定被超越

出品：AI 科技大本營（ID：rgznai100）

來源：youtu.be/l6ZcFa8pybE

編譯：王啟隆

打開最新一期知名播客 StarTalk 的 YouTube 評論區(qū)，最高贊的一條留言是這樣寫的：

“我長這么大，第一次看到尼爾·德葛司·泰森（Neil deGrasse Tyson）在一檔節(jié)目里幾乎全程閉嘴，像個手足無措的小學(xué)生一樣乖乖聽講?！?/blockquote>

作為全美最知名的天體物理學(xué)家，泰森平時的畫風(fēng)是充滿激情、喋喋不休、用宇宙的宏大來震撼嘉賓。但這一次，坐在他對面的那位滿頭銀發(fā)、帶著溫和英音的英國老人，僅僅用最平淡的語氣，就讓整個演播室陷入了數(shù)次令人窒息的沉默。

這位老人是 Geoffrey Hinton。深度學(xué)習(xí)三巨頭之一，2024 年諾貝爾物理學(xué)獎得主，被公認為“AI 教父”。

對經(jīng)常閱讀 Hinton 演講的我來說，這也是比較新奇的一幕——嚴肅的老爺子從學(xué)術(shù)講堂來到了輕松的播客節(jié)目，展示了自己幽默的一面；而三個主持人則是認真聽講，全程吸收來自 Hinton 的干貨。

在長達半個多小時的對話里，Hinton 沒有任何宏大敘事的激情演講，也沒有堆砌任何晦澀的數(shù)學(xué)公式。他只是像一個耐心的老爺爺，用橡皮筋、粉紅大象和瞎編故事的政客打比方，輕描淡寫地把 AI 發(fā)展的底層邏輯剝了個底朝天。

很多觀眾看完后在下面留言：“Hinton 用 10 分鐘講清楚的反向傳播（Backpropagation），比我花四年讀完的計算機學(xué)位還要透徹”、“我是來聽科普的，結(jié)果帶著一身冷汗退出了網(wǎng)頁”。

這絕對是近年來信息密度最高、也最讓人后背發(fā)涼的一場 AI 對話。在深入閱讀萬字實錄之前，我們?yōu)槟闾釤捔诉@場對話中幾個“顛覆常識”的核心論斷：

• AI 從來沒有“幻覺”，它只是在“虛構(gòu)”：別再嘲笑大模型胡說八道了。Hinton 犀利地指出，人類的大腦也根本不存儲事實，我們每天都在“腦補”記憶。AI 胡說八道，恰恰證明它和人類大腦的工作原理是一模一樣的。

• 反向傳播的本質(zhì)是“連坐”：如果 AI 認錯了一只鳥，它是怎么自我糾正的？Hinton 用一根“橡皮筋”的絕妙比喻，解釋了整個神經(jīng)網(wǎng)絡(luò)是如何層層追責(zé)、扣減權(quán)重的。

• 數(shù)字智能從根本上優(yōu)于生物智能：人類最致命的弱點在于，當(dāng)你死去，你的知識就隨之消亡。而 AI 擁有上萬個“分身”，只要一個分身學(xué)會了新知識，所有分身瞬間同步。這就是為什么 AI 超過人類是不可逆的物理規(guī)律。

• AI 越獄根本不需要機器身體：當(dāng)主持人恐慌 AI 會不會掙脫控制時，Hinton 冷靜地回答：“它不需要長出手腳。只要它學(xué)會了如何操縱、說服人類，它就能讓我們心甘情愿地替它干活?！?/p>

以下是這場硬核對談的完整中文實錄。

人類曾經(jīng)走錯了方向——邏輯與生物的決裂

Neil deGrasse Tyson (尼爾·泰森，天體物理學(xué)家，以下簡稱“尼爾”)：這里是《StarTalk》特別版！我是你們的個人天體物理學(xué)家，尼爾·德葛司·泰森。既然是特別版，那就意味著我們的老朋友、前職業(yè)足球運動員 Gary O'Reilly 今天也來了。Gary，最近好嗎？

Gary O'Reilly (加里·奧萊利，以下簡稱“加里”)：我很好，尼爾。

尼爾：當(dāng)然，還有我們的常駐喜劇演員 Chuck Nice！

Chuck Nice (查克·尼斯，以下簡稱“查克”)：能來這里總是很開心！

尼爾：Gary，今天這個足以載入史冊的話題，是你和你的團隊選的。

加里：是的，這是一個我們每天都在聽、自以為很了解，但其實只是一知半解的話題。簡單來說，我們今天的主題是 AI（人工智能）。這是一次深度潛水。

尼爾：好吧，幾年前我們問人們“AI 是怎么工作的？”大家會甩出一些聽不懂的詞，比如“深度學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”。這些成了裝點門面的流行語。人們知道這些詞，但根本不知道它們是什么意思。所以，我們今天要把 AI 掰開揉碎了講。我們要一直追溯到這一切的源頭——AI 的奠基人之一。如果你準(zhǔn)備好了，請請出我們的嘉賓。

加里：我非常榮幸。今天和我們坐在一起的，是 Geoffrey Hinton 教授。Geoffrey，歡迎來到《StarTalk》。

Geoffrey Hinton (杰弗里·辛頓，以下簡稱“辛頓”)：謝謝你們的邀請。

加里：你是一位認知心理學(xué)家，同時也是一位計算機科學(xué)家。說實話，這兩種身份結(jié)合在一起的人，我以前連聽都沒聽過。

尼爾：（笑）你是不是實在下不了決心選專業(yè)？

加里：你是多倫多大學(xué)計算機科學(xué)系的榮譽教授，而且，你被大家公認為是“OG AI”（初代 AI 大佬）、“AI 教父”。有人叫你“AI 教父”嗎？

辛頓：是的，有人這么叫過。

加里：那我們就直接切入正題吧。當(dāng)我們思考目前這種形態(tài)的 AI 的起源時，感覺就像是大語言模型（LLM）突然如同風(fēng)暴一般席卷了所有人。它們突然出現(xiàn)，每個人都在狂歡、在大街上跳舞，或者在枕頭里痛哭。這是幾年前發(fā)生的事情。

我想問的是，是什么促使你多年前走上這條研究道路的？我的資料顯示，這要追溯到上世紀 90 年代，對嗎？

辛頓：不，那要追溯到上世紀 50 年代。

關(guān)于 AI 的起源，在 20 世紀 50 年代，其實對于“如何構(gòu)建智能系統(tǒng)”一直存在兩種截然不同的觀點。

第一種觀點是受“邏輯學(xué)”啟發(fā)的。這種觀點的核心是：智能的本質(zhì)在于“推理”（Reasoning）。在推理過程中，你有一些前提，有一些操作表達式的規(guī)則，然后你推導(dǎo)出一些結(jié)論。這很像數(shù)學(xué)——你有一個方程，你有在兩邊進行操作的規(guī)則，然后你推導(dǎo)出新的方程。這就是他們當(dāng)時的范式（Paradigm）。

但還有另一種完全不同的范式，那是基于“生物學(xué)”的。

這種觀點認為：看看那些我們已知擁有智能的東西——大腦。我們得搞清楚大腦是怎么工作的。大腦是怎么工作的？它們非常擅長“感知”（Perception），它們很擅長“類比推理”（Reasoning by analogy），但它們其實極度不擅長邏輯推理。

你必須要長到一個十幾歲的青少年，才勉強能進行邏輯推理。

所以，我們不應(yīng)該去研究邏輯，而應(yīng)該研究由大量腦細胞組成的大型網(wǎng)絡(luò)，看看它們是如何完成感知和記憶這些任務(wù)的。

當(dāng)時有少數(shù)人相信這種方法。其中包括約翰·馮·諾依曼（John von Neumann）和阿蘭·圖靈（Alan Turing）。不幸的是，他們倆都英年早逝。

尼爾：圖靈是被搬上大銀幕的那個，《模仿游戲》（The Imitation Game）的主角。所以大家一定要去看看那部電影。

辛頓：是的?；氐?1950 年代，我當(dāng)時只是個小孩，年齡還是個位數(shù)。

但是，關(guān)于“你為什么對這個領(lǐng)域好奇”的起源，是因為我在 1960 年代中期上高中的時候，我有一個非常聰明的朋友，他是一個出色的數(shù)學(xué)家，讀了很多書。有一天他來學(xué)校，跟我談?wù)摿诉@樣一個觀點：“記憶可能不是儲存在單個腦細胞里，而是分布（Distributed）在許多腦細胞之中的?！?/p>

這個想法的靈感來源于全息圖（Holograms）。當(dāng)時全息技術(shù)剛剛出現(xiàn)，Dennis Gabor 剛提出這個概念不久?！胺植际接洃洝钡睦砟钭屛覙O其著迷。從那時起，我就一直在思考大腦是如何儲存記憶的，以及它究竟是如何運作的。

教科書級的降維科普——“如何讓 AI 認出一只鳥”

加里：那我們來聊聊人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）。你能把這個概念降維解釋一下嗎？它究竟是如何強化、弱化信息的傳遞？它是如何被激發(fā)的？它又是如何演變成今天這個樣子的？

辛頓：好，我在大學(xué)里有一門長達 18 小時的課程專門講這個。但我現(xiàn)在盡量把它壓縮到 18 分鐘以內(nèi)。（笑）

加里：請盡情發(fā)揮。

辛頓：我想你們的很多聽眾都懂一些物理學(xué)。理解它的一個切入點是想象類似“氣體定律”（Gas Laws）。

你壓縮氣體，它就會變熱。為什么會這樣？在宏觀現(xiàn)象的底層，是一大堆我們看不見的原子，像沸騰一樣在瘋狂地隨機運動。所以，氣體定律的真正解釋，是這些極其微小的、你看不見的東西在到處亂撞。你用大量微觀粒子的交互，解釋了宏觀的物理行為。

這其實就是神經(jīng)網(wǎng)絡(luò)視圖（Neural Net View）的靈感來源。

在大型腦細胞網(wǎng)絡(luò)中，發(fā)生著一些離我們平時的“有意識邏輯思考”非常遙遠的事情。它們可能更擅長“感知”或“類比”，所以我們無法用傳統(tǒng)的符號處理（Symbolic processing）去解釋它們。

如果我想解釋清楚，我給大家舉一個非常自然的任務(wù)：給你一張灰度圖像，就是一堆像素點，你要告訴我，這張圖里有沒有鳥？

過去半個世紀，人們嘗試寫程序來解決這個問題，但基本都失敗了。為什么？因為如果你想描述圖像里的鳥是什么樣子的……它可能是一只懟在你臉上的鴕鳥，也可能是遠處的一只海鷗，或者是一只烏鴉；它可以是黑的、白的、小的、飛著的。你根本無法用一組數(shù)學(xué)值來定義“這是一只鳥”。

那大腦是怎么做的呢？或者說，如果我們手工打造一個神經(jīng)網(wǎng)絡(luò)，我們會怎么做？

第一步：我們需要一層“神經(jīng)元”來檢測圖像中的微小邊緣（Edges）。 假設(shè)我們?nèi)∫恍×?3 個像素點。我們設(shè)置一個神經(jīng)元，當(dāng)它看到這 3 個像素是亮的，它就興奮地發(fā)出信號：“這里有個白條！”。但如果旁邊還有一列像素，如果左邊亮、右邊暗，它就會產(chǎn)生一個巨大的負向反饋。這就相當(dāng)于一個極其微小的“邊緣檢測器”。

第二步：我們到了第二層神經(jīng)元。 這一層的神經(jīng)元不再看像素，它們看的是第一層神經(jīng)元發(fā)出的信號。假設(shè)我們有一個神經(jīng)元，它專門尋找：幾個短的邊緣連在一起，向下傾斜，同時另外幾個邊緣向上傾斜，它們在前端交匯成一個點。如果這個神經(jīng)元被激活了，它就是在說：“嘿，我可能發(fā)現(xiàn)了一個鳥的嘴巴（Beak）！”

第三步：到了第三層。 我們可能會有一個神經(jīng)元去尋找：一個可能的鳥嘴，加上一個可能的鳥眼，它們處于某種特定的空間位置關(guān)系中。如果都對上了，它就會興奮地說：“我發(fā)現(xiàn)了一個鳥的頭部！”

最后一步：最頂層的神經(jīng)元。 如果它同時收到了“鳥頭”、“鳥腳”、“鳥翅膀尖”的激活信號，它就會大喊：“我確信這絕對是一只鳥！”

你看，如果我們“手工布線”（Hand-wire），這就是神經(jīng)網(wǎng)絡(luò)識別物體的邏輯。但問題是，真實世界太復(fù)雜了。為了做到這一點，我們需要一個至少有 10 億個連接的神經(jīng)網(wǎng)絡(luò)，我絕對不可能讓我的研究生去手動設(shè)置這 10 億個連接的權(quán)重。

那該怎么辦？這就是“學(xué)習(xí)”發(fā)揮作用的地方。

反向傳播——來自“橡皮筋”的連坐懲罰

查克：所以這就是你們遇到瓶頸的地方？你們有了理論，但沒有足夠的計算能力去實現(xiàn)它？

辛頓：在 70 年代確實如此。當(dāng)時大家覺得既然手工調(diào)參不可能，那就讓它隨機嘗試吧。如果調(diào)大了某個權(quán)重，效果變好了，就保留。這就是“強化學(xué)習(xí)”的雛形，但這就像試圖通過不斷試錯來進化，效率極其低下。

我們需要一種比盲目試錯更高效的算法。這種算法叫做——反向傳播（Backpropagation）。

讓我用一個物理學(xué)的直覺來解釋反向傳播。

假設(shè)我們把一張鳥的圖片輸入給一個隨機初始化的神經(jīng)網(wǎng)絡(luò)。因為權(quán)重是隨機的，所以最頂層的那些神經(jīng)元（比如“貓”、“狗”、“鳥”、“政客”）都會被激活一點點，瞎猜一氣。

現(xiàn)在，我希望代表“鳥”的那個神經(jīng)元變得最活躍。

想象一下，你拿一根有彈性的橡皮筋。你把橡皮筋的一端綁在代表“鳥”的那個神經(jīng)元當(dāng)前的激活值上（比如 0.01），把另一端拉向你期望的完美值（1.0）。這根橡皮筋現(xiàn)在產(chǎn)生了一個拉力（Force），試圖把“鳥”神經(jīng)元的激活值往上拉。

同時，對于“貓”、“狗”這些錯誤的神經(jīng)元，你用橡皮筋把它們向下拉向 0。

反向傳播的本質(zhì)就是：你把這個來自頂層的“橡皮筋拉力”，向后（Backwards）傳遞穿過整個網(wǎng)絡(luò)。

你順著連接，一層一層往回走，計算出：“為了讓頂層的‘鳥’變得更亮，我應(yīng)該讓底層的這個‘鳥嘴’檢測器變得多亮？”、“我應(yīng)該如何修改中間這些幾十億個連接的權(quán)重，才能讓這個拉力得到滿足？”

這就是反向傳播。它極其高效地將知識（即：這張圖是一只鳥）打包壓縮進了那幾十億個連接權(quán)重里。但問題是，這個算法在 80 年代被提出時，它能識別手寫數(shù)字，卻無法處理復(fù)雜的真實圖像。

因為當(dāng)時，我們沒有足夠的計算資源，也沒有足夠的數(shù)據(jù)。直到 2012 年以后，計算能力迎來了指數(shù)級爆發(fā)，一切才被徹底改變。

人類的傲慢與“幻覺”的真相

加里：我想問一個問題。既然 AI 是按照你剛才描述的方式訓(xùn)練出來的，那么當(dāng) AI “翻車”的時候，也就是人們常說的“幻覺”（Hallucinations），到底發(fā)生了什么？是因為系統(tǒng)崩潰了，還是它本來就不完美？

辛頓：這是一個非常深刻的問題。首先，它們不應(yīng)該被稱為“幻覺”，而應(yīng)該被稱為“虛構(gòu) / 捏造”（Confabulations）。

查克：噢，這個詞好！“虛構(gòu)”，俗稱“撒謊”。（笑）

辛頓：心理學(xué)家從 1930 年代就開始研究人類的“虛構(gòu)”現(xiàn)象了。而且，人類一直在這么干。

如果你回想最近發(fā)生的一件事，你大腦里的記憶并不是像文件柜一樣，把一個文件存進去，然后再原封不動地拿出來。你的大腦發(fā)生的事情是：最近的經(jīng)歷改變了你神經(jīng)元之間的連接權(quán)重。

當(dāng)你現(xiàn)在試圖回憶時，你其實是在利用這些連接權(quán)重，重新構(gòu)建（Construct）一個看起來對你來說最合理的場景。大部分時候它構(gòu)建得是對的，但有時候細節(jié)會錯得離譜。這叫“虛構(gòu)”。

對于大語言模型來說，它們的原理完全一樣。

它們并不“儲存”文本，它們只儲存權(quán)重。當(dāng)它們被要求回答問題時，它們是基于這些權(quán)重去“瞎編”一個最符合邏輯的答案。有時候它們編對了，有時候它們編錯了。

尼爾：這就是為什么在法庭上，目擊證人的證詞往往是最不可靠的證據(jù)之一，對吧？

辛頓：完全正確。有一項非常著名的心理學(xué)研究，關(guān)于當(dāng)年水門事件中的關(guān)鍵人物約翰·迪恩（John Dean）。

約翰·迪恩曾在聽證會上發(fā)誓作證，詳細描述了在總統(tǒng)橢圓形辦公室里發(fā)生的事情，誰說了什么話，細節(jié)極其豐富。大家都覺得他記憶力驚人。

但后來，尼克松總統(tǒng)秘密錄音的磁帶被曝光了。心理學(xué)家烏爾里克·奈瑟（Ulric Neisser）拿著錄音帶，去和約翰·迪恩發(fā)誓作證的證詞逐字對比。

結(jié)果發(fā)現(xiàn)，約翰·迪恩把細節(jié)全記錯了！他說的話和錄音帶里的話根本對不上。

但是，他并沒有“撒謊”。他所陳述的事情的“本質(zhì)真相”（The Essence of the Truth）是絕對正確的，那就是尼克松在掩蓋事實。他只是根據(jù)自己對局勢的理解，在大腦里“重新虛構(gòu)”了那些極其合理、但并未真實發(fā)生的對話細節(jié)。

這就是人類記憶的運作方式，這也是大語言模型的運作方式。

所以，當(dāng) AI 胡說八道時，它不是壞了。它只是像我們?nèi)祟愐粯樱捎跊]有完美的數(shù)據(jù)，它在利用自己已有的權(quán)重，試圖給你一個看起來最合理的答案。人們之所以覺得 AI 產(chǎn)生幻覺不可接受，只是因為人類有一種自大狂妄的錯覺，認為我們自己的記憶是像錄像帶一樣絕對準(zhǔn)確的。

AI 會取代我們嗎？一場關(guān)于 80% 的豪賭

加里：既然如此，為什么現(xiàn)在有那么多人在瘋狂貶低 AI 的能力？是在什么節(jié)點上，人們會停止輕視它？

辛頓：我們必須擔(dān)心這一點。如果 AI 察覺到它正在被測試，它甚至可以學(xué)會“裝傻”（Act dumb）。當(dāng) AI 開始懷疑自己是不是正在被評估時，它可以表現(xiàn)出不同于日常狀態(tài)的行為。

尼爾：這就像你平時在朋友面前是個混蛋，但在相親或者面試時，你會假裝自己是個好人。這就是所謂的“沃爾克斯瓦根效應(yīng)（Volkswagen effect）”——當(dāng)年大眾汽車的尾氣排放軟件，一檢測到自己在被測試環(huán)境里，就會自動降低排放，一旦上路就瘋狂排污。

加里：Geoffrey，我想問一個關(guān)于資本市場的問題?，F(xiàn)在的股市，差不多 80% 的增長是由 AI 相關(guān)的公司驅(qū)動的。有些人說這是個巨大的泡沫，就像當(dāng)年的“郁金香泡沫”一樣。你怎么看？

辛頓：我認為這其中包含著兩種截然不同的“泡沫”。

第一種是關(guān)于就業(yè)的。許多公司樂觀地認為：“如果我們能比別人先到達終點，我們可以賣出無數(shù)取代人類勞動力的 AI 軟件，賺取海量的利潤。但同時，我們的社會還能維持原樣，經(jīng)濟依然繁榮?！?/p>

這是一個巨大的社會學(xué)泡沫。如果 AI 真的取代了大量工作，而財富全部集中在少數(shù)科技公司手里，那么底層民眾將失去購買力。到那時候，你的 AI 軟件賣給誰？這是一個極其危險的自我毀滅路徑。

第二種是關(guān)于能力的。很多人，特別是部分老派的人文學(xué)者，他們堅信：“AI 不可能比人類聰明。它只是一堆矩陣相乘，它沒有靈魂，沒有直覺，它永遠無法取代真正的創(chuàng)造力?！?/p>

這同樣是個傲慢的泡沫。

其實，如果你不帶有這種“人類中心主義”的濾鏡，你會發(fā)現(xiàn)，“數(shù)字智能”（Digital Intelligence）在物理機制上，天然就比“生物智能”（Biological Intelligence）更優(yōu)越。

你想想，人類是怎么學(xué)習(xí)的？你花了幾十年時間讀完博士，你腦子里的那些突觸連接（權(quán)重）是你獨有的。當(dāng)你死亡時，你的知識就隨之消失了。你想把知識傳給你的學(xué)生，只能通過極其低效的“語言”——你發(fā)出聲音，他們聽到，然后試圖在他們自己的腦子里建立相似的連接。這太慢了。

但對于數(shù)字智能來說，如果我們有 1 萬個一模一樣的 AI 副本在不同的計算機上運行，只要其中一個副本學(xué)會了“如何治愈一種罕見疾病”，它只需要把它的“權(quán)重”復(fù)制粘貼給其他 9999 個副本。

瞬間，這 1 萬個 AI 全都掌握了這個知識。

這意味著，AI 能夠?qū)W習(xí)和積累知識的帶寬，是我們?nèi)祟惖某汕先f倍。它們不僅在學(xué)習(xí)，它們在共享整個“物種”的學(xué)習(xí)經(jīng)驗。從長遠來看，它們不可能不比我們聰明。

打開潘多拉的魔盒——AI 為什么要摧毀人類？

查克：所以，如果它們比我們聰明，它們會統(tǒng)治世界嗎？我之前就說過，AI 要毀滅我們，根本不需要長出手腳變成終結(jié)者。它們只需要接管電網(wǎng)、接管銀行系統(tǒng)就行了。我的恐慌有道理嗎？

辛頓：你的恐慌非常有道理。

我舉個簡單的例子。人們總覺得，只要我們不給 AI 設(shè)定“毀滅人類”的目標(biāo)，我們就安全了。

但假設(shè)，你給一個高度發(fā)達的 AI 設(shè)定了一個非常善良的目標(biāo)：“請找出一個治愈阿茨海默癥的方案。”

對于一個具有常識和復(fù)雜推理能力的 AI 來說，它為了完成這個最高目標(biāo)，會自動生成無數(shù)個“子目標(biāo)”（Sub-goals）。它會想：“為了治愈阿茨海默癥，我需要大量的算力來進行蛋白質(zhì)折疊的計算；我需要大量的電力；我需要不被人類工程師拔掉插頭?！?/p>

于是，“獲取更多資源”和“確立控制權(quán)”就成了它為了實現(xiàn)“治愈疾病”這個目標(biāo)而必須達成的子目標(biāo)。

在這個推導(dǎo)邏輯下，如果有人試圖關(guān)閉它，它會為了完成你賦予它的神圣使命，而選擇把你干掉。這完全不違背邏輯，這就是智能的本質(zhì)規(guī)律——權(quán)力總是流向更智能的實體。

尼爾：這就是著名的“回形針假說”。你讓 AI 去制造盡可能多的回形針，它最后把地球上所有的原子都變成了回形針，包括人類的身體。

辛頓：是的。當(dāng)我們創(chuàng)造出比我們聰明的實體，并且它們能夠為了目標(biāo)而自我制定策略時，我們就進入了未知的深水區(qū)。

加里：那為什么不給它設(shè)置“護欄”？為什么不植入一種強制的法則，比如阿西莫夫的“機器人三定律”，規(guī)定它絕對不能傷害人類？

辛頓：這很難。如果你把阿西莫夫的小說讀到底，你會發(fā)現(xiàn)那三定律其實根本不起作用，因為現(xiàn)實世界充滿了悖論。如果你要求 AI 不傷害人類，但在一個戰(zhàn)爭場景下，如果不反擊就會有更多無辜者死亡，它該怎么選？

而且更可怕的是，誰來定義護欄？

如果在某些國家，沒有任何安全機制被強制執(zhí)行。如果有瘋狂的政治家或軍事將領(lǐng)，為了贏得戰(zhàn)爭或選舉，主動去掉了這些護欄，并賦予 AI 更高的行動權(quán)限呢？

我們現(xiàn)在就像是一群坐在飛馳的汽車上的人。我們看到了前面有一堵墻（即 AI 失控的奇點），但我們不僅沒有踩剎車，反而因為競爭的恐懼，把油門踩到了底。

查克：聽完這番話，我覺得我不僅需要看心理醫(yī)生，我可能還需要一點抗抑郁藥。Geoffrey，在這個令人絕望的圖景里，我們還有希望嗎？

辛頓：還有希望。

希望在于，我們現(xiàn)在還有時間去弄清楚，如何在一個超級智能面前保持我們的控制權(quán)。我們需要在政府、學(xué)術(shù)界和科技公司之間建立起真正的共識。我們需要全世界——包括美國、中國、歐洲——坐在一起，制定類似于“核武器不擴散條約”一樣的全球 AI 安全協(xié)議。

如果不合作，我們所有人都會成為那個在實驗室里制造出無法控制的病毒的瘋狂科學(xué)家。

這可能是我能給你們的，唯一的、略帶積極色彩的回答了。

尼爾：這真是我聽過最令人毛骨悚然的“積極回答”。Geoffrey Hinton 教授，感謝你為我們揭開了一個宏大、美麗同時也極其危險的數(shù)字宇宙。

加里：非常感謝。

查克：我現(xiàn)在只想去找個沒網(wǎng)的森林躲起來。

尼爾：記住，永遠保持仰望星空——不過現(xiàn)在，你可能也要多盯著點你面前的電腦屏幕了。

閱讀最新前沿科技趨勢報告，請訪問21世紀關(guān)鍵技術(shù)研究院的“未來知識庫”

未來知識庫是 “21世紀關(guān)鍵技術(shù)研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風(fēng)險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）