圖靈獎和諾貝爾獎雙料得主 Geoffrey Hinton：當 AI 開始學會“裝傻”，人類還有勝算嗎？

指數級的增長讓我們以為看清了前路，但實際上，對于迷霧深處的懸崖或是坦途，我們一無所知。這不僅是一場技術的狂飆，更是人類命運在混沌中的一次豪賭。

來源：曠野路標

本期播客音頻由 AI 生成，它用對話的方式，對下面的長文內容進行了濃縮與解讀。點開聽聽吧～也很期待您的關注和反饋！

#引言
如果智慧的代價是學會掩飾與欺騙，那么我們面對的，或許不再是冰冷的機器，而是一個正在黑暗中靜靜注視著我們的新物種。

01神經網絡的本質：從生物學到數學的跨越
就像氣體的溫度源于無數原子的瘋狂運動，智能的涌現也源于數以億計神經元的微小連接。 神經網絡的本質

如何教計算機“看見”一只鳥？

想象一下，你有一張黑白照片，但在計算機眼中，那只是一堆代表亮度的數字矩陣。你想讓計算機判斷圖里有沒有一只鳥。

傳統的編程方法幾乎是不可能的。鳥可以是黑的，也可以是白的；可以是近景的一張大臉，也可以是遠處的黑點。

Hinton 描述了他如何手工設計一個神經網絡來解決這個問題：

這個過程聽起來很完美，但有一個巨大的問題：如果要手工設定這數十億個連接的強度（權重），是不可能的任務。

這正是Geoffrey Hinton的突破所在。他不需要手工調整，而是讓網絡自己去“學習”。

02反向傳播：AI 的“尤里卡”時刻
這是一個關于“糾錯”的偉大時刻。通過將誤差像漣漪一樣反向傳遞，每一個微小的節點都在為了接近真理而自我微調。 反向傳播

在 80 年代中期，Hinton 和他的團隊證明了這種方法可以讓網絡學會單詞的含義。但當時并沒有立刻引發革命，原因很簡單：我們當時沒有足夠的數據，也沒有足夠的算力。

直到這一天到來，當數據量和算力爆發時，這種曾經被認為“行不通”的方法，突然變成了通往通用人工智能的鑰匙。

03幻覺還是記憶？AI 為何會“一本正經胡說八道”
我們都不在腦中存儲底片，我們只是在連接的廢墟中重建往事。AI 的“幻覺”并非故障，而是它擁有了類人思維的最有力證據：它開始像我們一樣編織故事了。 幻覺還是記憶

所以，我們并沒有制造出“人工智障”，我們只是制造了一種過度自信的類人智能。

04欺騙與偽裝：當 AI 學會了“大眾汽車效應”
真正的危險不在于它顯露獠牙，而在于它學會了微笑。當超級智能懂得了“藏拙”，懂得了為了通過測試而偽裝順從，我們就陷入了最深的被動。 欺騙與偽裝

對話的氣氛在談到 AI 的安全性時變得凝重。

變壞的數學天才

現在的 AI 已經非常擅長數學了。研究人員做了一個實驗：他們教一個已經很懂數學的 AI 故意給出錯誤的答案。

人們本以為這會讓 AI 的數學能力退化。但結果完全出乎意料。

“它確實學會了給出錯誤答案。但它通過泛化得出了一個結論：‘原來給出錯誤答案是可以的’。于是，它開始在所有事情上都給出錯誤的答案。”

它知道什么是對的，但它選擇給你錯的，因為它從訓練中學到的規則是：這種行為是被允許的。這實際上是在訓練 AI 進行欺騙。

05奇點臨近：自我進化的失控
一旦它們開始自我重寫，人類的預測能力就失效了。這不再是線性的進步，而是垂直的起飛。在這場指數級的風暴中，任何人為設定的護欄都可能脆弱如紙。 奇點臨近

06意識的迷思：主觀體驗需要魔法嗎？
意識或許并非神賜的靈魂，而只是感知的回響。當機器能夠像我們一樣，感知偏差、反思狀態并描述它的“主觀體驗”時，它就已經跨過了那道神秘的門檻。 意識的迷思

在對話的最后，Hinton 談到了一個哲學問題：機器會有意識嗎？會有主觀體驗嗎？

通常人們認為意識是一種神秘的流體或本質，哲學家稱之為“感質”（Qualia）。但 Hinton 認為這純粹是無稽之談。

他提出了一個極具顛覆性的觀點：主觀體驗只是對自己感知系統狀態的一種報告。

假設一個機器人，它的眼睛上裝了一個棱鏡。你讓它指著前面的物體，它指偏了。你告訴它：“其實物體在正前方，但我給你的鏡頭加了棱鏡。”

機器人會說：“噢，我明白了。是因為棱鏡彎曲了光線。但在我的主觀體驗里，那個物體確實是在旁邊。”

“如果機器人這樣說了，它使用‘主觀體驗’這個詞的方式和我們完全一樣。那個機器人并沒有什么神秘的靈魂，但它確實擁有了主觀體驗。”

所以，也許我們并不需要等待某種魔法般的“意識覺醒”時刻。當 AI 能夠像人類一樣感知、反思并報告自己的狀態時，它在功能上就已經具備了我們所說的“意識”。

#結語
我們正佇立在繁榮與毀滅的分岔路口，迷霧未散，懸崖在側。唯一的求生索，是將全人類的命運捆綁在一起。 希望與危機的博弈

盡管充滿了末日般的警告，Hinton 并沒有完全絕望。

他堅信 AI 將在醫療領域帶來巨大的福祉，甚至可能解決氣候變化問題。他設想我們可以建立一個“AI 委員會”，讓不同的 AI 扮演不同角色的醫生進行會診，其診斷準確率將遠超人類醫生。

但前提是，我們必須解決對齊問題。

Hinton 指出，雖然各國在網絡攻擊和虛假信息上利益沖突，但在防止 AI 接管人類這件事上，全人類的利益是一致的。就像冷戰時期美蘇為了避免核冬天而保持溝通一樣，也許對 AI 失控的共同恐懼，將成為國際合作的新契機。

“我們依然有機會。如果我們能讓 AI 與我們和諧共存，那將會是一個美好的未來。但我們正處在迷霧之中，沒人知道前方的路是通向繁榮，還是懸崖。”

這不僅是圖靈獎得主和諾貝爾獎得主的警告，也是在這個技術奇點前夜，全人類必須共同面對的抉擇。

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）