北京
當AI領域仍沉浸于規模擴張的路徑依賴時，前OpenAI首席科學家、頂尖科學家Ilya Sutskever的離職后首份深度訪談，為行業敲響了轉向的警鐘。這位見證AI從研究時代邁入擴展時代的核心親歷者，以18個犀利觀點撕開行業迷霧，直指當前技術瓶頸與未來破局關鍵。
Ilya明確宣告Scaling時代終結，單純百倍算力提升難換模型質的飛躍，真正桎梏在于泛化能力遠遜人類。他提出“情感價值函數”或將成為新賽道核心，這種類人類情感的評估機制能提升強化學習效率，填補當前訓練反饋滯后的短板。從編程競賽案例剖析模型“死記硬背”的局限，到點出評測分數與真實表現的巨大斷層，他層層拆解AI看似聰明背后的能力缺陷。
談及行業未來，他預判同質化競爭將壓縮規模型企業利潤，細分領域專業化成破局關鍵；超級智能或在5-20年內雛形初現，而終極目標是構建關愛所有感知生命的對齊系統。這份兼具技術深度與人文關懷的思考，為AI從規模競賽轉向價值深耕提供了全新坐標系，也讓業界重新審視技術演進的本質與方向。以下，Enjoy：
本文來自微信公眾號：Founder Park、一只小茄墩
這是前 OpenAI 首席科學家 Ilya Sutskever，在離開 OpenAI 后最完整的一次深度訪談。
Scaling 時代已經結束了，單純把規模擴大 100 倍，也不會帶來模型能力質的變化。
當前，真正的瓶頸不在于算力，而是模型的泛化能力遠不如人類。
逐步部署和讓世界感受 AI 的能力，比純粹的思考更重要。
最終對齊的目標是，讓超級智能真正關心和感知所有生命，因為未來的「感知體」大多數會是 AI 自己。
「情感」作為一種價值函數，未來一定會被廣泛使用。簡單的東西，往往能在更廣泛的情境下發揮作用。
未來，這些按照「盲目擴大規?！孤纷觼碜叩?AI 公司也許能獲得驚人的收入，但不一定有利潤，因為需要費勁地在同質化競爭中尋找差異化。
在與 Dwarkesh Patel 長達一個半小時的對談中，Ilya 分享了他對于當下的 LLM 研究、如何實現 ASI、研究品味、未來 AI 公司的競爭等方面的思考，同時回應了對于其創業公司 SSI 的未來規劃。
干貨非常多?；谕暾脑瓕φ剝热?，Founder Park 整理了其中最精彩的 18 個問答，希望能夠幫你快速、但深入地理解 Ilya 到底講了什么以及他在思考什么。
部分原對話內容參考自賬號「一只小茄墩」的編譯內容。
01
Scaling 時代已經結束了，
接下來是研究時代
我們到底在「擴展」什么？
其實我們擴展的是預訓練（Pre-training），這是一套特定的擴展配方。
預訓練帶來的最大突破，就是讓我們意識到這套配方真的很棒。你會發現：只要把一些算力、一些數據，扔進一個特定大小的神經網絡里攪拌一下，就能出結果。而且你很清楚，只要把這個配方按比例放大，效果一定會更好。大公司愛死這個了，因為這提供了一種風險極低的資源投資方式。
但到了某個節點，預訓練的數據總會用光的。數據顯然是有限的。所以，現在搞一種魔改版的預訓練，去做強化學習或者其他。
現在算力規模已經很大了，真的非常大。僅僅把規模擴大 100 倍就能帶來質的飛躍嗎？我不這么認為。所以，從某種意義上說，我們又回到了研究時代。
從 2012 年到 2020 年，是研究時代；從 2020 年到 2025 年，是擴展時代。
新配方會是著什么？
「情感」價值函數。也許等大家把價值函數玩明白了，利用資源的效率就會大大提升。如果你找到了一種全新的模型訓練方法，你會說這是擴展嗎？還是僅僅是使用資源？我覺得界限開始變得模糊了。
回想當年的研究時代，大家的狀態是：試這幾個，再試那幾個。你看，好像有意思的事情發生了。我認為這種狀態將會回歸。
我想強調的是，我認為價值函數能讓強化學習變得更高效，這確實能帶來改變。但凡是能用價值函數做到的事，不用它也照樣能做，只不過速度會慢一些。
這些模型的泛化能力依然比人類差得遠。這才是一個非常根本的問題。
02
「情感」作為一種價值函數，
特別關鍵
「情感」價值函數是什么？
舉個例子，一個人因為中風或事故造成了某種腦損傷，導致他失去了情感處理能力，在做任何決策時都變得極其糟糕。
這說明人類內置的情感對于讓我們成為一個能夠在這個世界上生存并有效行動的個體，起著至關重要的作用。
這種「情感」可以類比為大模型中的某種價值函數。但現階段，這種價值函數并沒有扮演非常核心的角色。
目前最樸素的強化學習做法是，要等任務全部做完后，才會打分反饋給整個過程中的每一個動作。這意味著，如果你在做一件耗時很長的事情，直到你提出最終方案之前，模型是學不到任何東西的。
但價值函數的作用是：不用等到最后，就能隨時告訴你現在做得是好是壞。價值函數能讓你能抄近道，省去了等待最終結果的時間。
這種價值函數是人類通用的一種感知能力，且這種能力極其穩健。除了像藥物成癮這種極少數的例外，人類的價值函數非?？煽俊?/p>
我的預期是，「情感」價值函數應該是很有用的，而且我完全相信即使現在還沒普及，未來也一定會被廣泛使用。復雜的東西可能非常有用，但簡單的東西往往能在廣泛情境下發揮作用。
03
為什么人類的泛化能力遠超大模型？
為什么預訓練數據量雖然大，但并不一定比 RL更能帶來泛化？
AI 預訓練數據的數量是非常、非常驚人的。
我覺得，預訓練的主要優勢在于：第一，量大管飽；第二，不需要費盡心思去挑數據。
它是非常自然的數據，包含了人類的所作所為、所思所想以及各種特征。就像是整個世界投射在文字上的倒影，而預訓練試圖用海量數據去捕捉這個倒影。
但預訓練很難去剖析，因為很難搞懂模型到底是以什么方式依賴這些預訓練數據的。每當模型犯錯，是不是純屬巧合，因為預訓練數據里剛好缺了這一塊的支持？預訓練支持這個詞可能不太嚴謹。這方面我也不知道還能補充什么有用的了。
我覺得預訓練這個過程，在人類身上找不到對應的類比。
為什么模型的泛化能力，依然比人類差得很遠？
拿編程競賽舉例。
假設有兩個學生。學生 A 決定要成為最強的競賽程序員，于是狂練了 10,000 小時。他刷遍了所有題目，背下了所有解題技巧，能極其快速且正確地實現所有算法。他因此成了頂尖高手。
學生 B 覺得：噢，編程競賽挺酷的。也許只練了 100 小時，但也考得挺好。
現在的模型基本就是第一種學生，甚至有過之無不及。因為我們會說，模型得擅長編程競賽，那就把史上所有的競賽題都拿來。這還不夠，再搞點數據增強，造出更多題目來訓練?，F在你得到了一個超級競賽程序員。既然它是靠死記硬背練出來的，掌握了所有算法和技巧，那它在其他事情上無法觸類旁通（泛化），也就是情理之中的事了。
泛化能力包含兩個子問題：一是樣本效率，二是為什么想教會模型我們想要的東西那么難，而教人類卻很容易。
人類的樣本效率極高，可能是來自進化。
進化把極少量、但最核心有用的信息賦予了人類，比如視覺、聽覺和運動能力。舉個例子，人類的靈巧度?，F在的機器人如果放在模擬環境中進行海量訓練，也能變得很靈巧。但想在現實世界中訓練一個機器人，讓它像人一樣迅速掌握一項新技能，這目前還遙不可及。
在運動、視覺等方面，人類可能天生就帶著某種不可思議的先驗知識。但在語言、數學和編程等領域的能力說明，讓人類擅長學習的根本原因，可能不是復雜的進化先驗知識，而是人類單純就是擁有更好的機器學習算法，也就是前邊提到的「情感」價值函數。
04
模型的能力是「鋸齒狀」的
為什么現在的模型看起來很聰明，但實際能力跟不上？
這也是目前最讓人困惑的地方之一。
它們在評測（evals）上表現得那么好，另一方面又在某些情況下像復讀機一樣犯傻？
舉個例子，假設你用 Vibe coding 做點東西。你遇到一個 bug，告訴模型：請修好它。結果它修好了，但引入了第二個 bug。然后你告訴它：現在有新 bug 了。結果它改了回去，把第一個 bug 又帶回來了。就這樣在兩個 bug 之間反復橫跳。
我有兩個可能的解釋。
一是：也許是強化學習訓練讓模型變得有點過于一根筋、視野太窄了。雖然 RL 讓它們在某些方面變強了，但也讓它們在其他方面變得遲鈍，導致連基礎的事情都做不好。
二是：當年做預訓練的時候，關于用什么數據這個問題，答案很簡單：用所有數據。你不需要糾結選這個還是選那個，全都要就行。但在做強化學習訓練時，就得動腦子選了。你得決定：我們要在這個任務上用這種 RL，在那個任務上用那種 RL。據我所知，所有公司都有團隊專門制作新的 RL 環境，加到訓練混合料里。但問題是，這些環境是什么？選擇太多了，自由度太大了。
我覺得大家無意中做了一件事：從評測題中找靈感。我想讓模型發布時表現炸裂，我想讓評測分數好看，什么樣的 RL 訓練能提升這個任務的分數？
如果把這一點與模型泛化能力其實不足結合起來看，大概就能解釋我們看到的現象了：為什么評測分數和真實世界表現之間存在巨大的斷層。直到今天，我們甚至都沒完全搞懂這個斷層到底意味著什么。
Dwarkesh Patel 補充：
我覺得有兩種理解方式。
如果模型在編程競賽中變成超人，并不自動意味著它能寫出更有品味、更好的代碼架構，那就應該擴展訓練環境，不能只盯著編程比賽，還得看它能不能開發出最好的應用程序 X、Y 或 Z。
另一點，帶來的思考是，也許正確的路子不是不斷堆砌訓練環境的數量和多樣性，而是找到一種方法，讓模型能從一個環境中學習，然后自然地提升在其他事情上的表現。
05
未來，AI 公司可能根本賺不到利潤
未來，繼續沿用現在的「不斷擴展規?！顾悸返墓緯萑胪幔?/strong>
我覺得即使技術停滯了，這些公司依然能賺取驚人的收入，但可能不一定有巨額利潤，因為他們得費勁地在同質化競爭中尋找差異化。
我覺得未來事情會這樣發展。 一是，一家公司搞出了個突破，另一家公司趕緊跟進，過段時間也搞出了類似的東西，然后他們開始在市場上競爭，把價格打下來。
另一種是，可以把 AI 做得很專，依然可以既有用又超級聰明。可以擁有很多專才型的超級智能 AI。 假設你有很這種 AI，一家公司靠它們賺了很多錢。
然后另一家公司進來競爭。競爭的方式將是專業化。 在現在的市場上，你會看到很多不同的細分生態位，很多不同的公司占據著不同的生態位。 未來，不同的 AI 公司可能會分別專注在不同復雜的領域。
這種大規模部署 AI，會引發某種智能爆炸嗎？
我認為，大規模的部署 AI 很有可能會帶來經濟的飛速增長。一旦你有了一個學得很快的 AI，并且擁有很多這樣的 AI，將其部署到經濟體系中的動力會非常強。
但問題在于增長到底會有多快？這很難預料。因為一方面，你擁有非常高效的 AI ；但另一方面，世界太大了，實體事物很多，而且實體事物的運轉速度是不一樣的。
06
什么是好的研究品味？
什么是好的研究品味？
有一件事指引著我個人，那就是通過思考人是怎樣的，來形成關于 AI 應該是怎樣的審美。但關鍵在于必須是正確的觀察。
我們需要從多個角度去審視，去尋找近乎美的東西——那種美感與簡潔感。
丑陋是沒有立足之地的。你需要的是美感、簡潔、優雅，以及從大腦中汲取的正確靈感。所有這些要素必須同時存在。當它們重疊得越多，你就越能確信這種自頂向下的信念。
當你面對實驗結果的打擊時，就是這種自頂向下的信念在支撐著你。這種品味能讓你在實驗持續失敗、所有數據都說「你錯了」時，依然堅持調試而不是放棄。
這種自頂向下，建立在那多維度的美感和源自大腦的靈感之上。
07
最終要構建的是一個能真正關心、感知生命的 AI
SSI 的計劃是什么？
我的思維方式發生了一些變化，我現在更看重在早期階段、漸進式地部署 AI。
談論 AI 有個難點是我們在討論一些目前還不存在、很難想象的東西。在現實中，人們很難真切地感覺到通用人工智能（AGI）的存在。
既然大家想象不到，該怎么辦？你必須把東西做出來給大家看。我堅持認為，即使是大多數 AI 從業者也想象不到未來的景象，因為那和我們日?？吹降臇|西太不一樣了。
接下來，假設 AI 被造出來了，我們要怎么做？
目前人們之所以感覺不到 AI 的強大，是因為它還會犯錯。但我相信，到了某個臨界點，AI 會開始讓人真正感覺到它的強大。當那一刻來臨時，所有 AI 公司對待安全的方式將發生巨變。
最終對齊的目標是什么？
未來，到底應該立志造出什么樣的 AI？目前大家都被困在一個大概念里：自我進化的 AI。
但我堅持認為，更好的構建目標是：一個真心實意關愛感知生命的 AI。制造一個關愛所有感知生命的 AI，可能比制造一個只關愛人類的 AI 更容易。因為未來的感知體大多數會是 AI 自己。
比如，鏡像神經元（Mirror Neurons）和人類對動物的同理心。我認為這是一種涌現屬性，源于我們用模擬自己的大腦回路去模擬其他生物，因為這是最高效的處理方式。
08
超級智能什么時候來？
超級智能什么時候來？
未來 5-20 年，可能會有具備人類級別學習能力、能走向超智能的系統。
你怎么看待超級智能？
我認為超級智能肯定會非常強大。
我覺得最可能發生的情況是：如果算力集群足夠大，會有多個這樣的 AI 在大致相同的時間被創造出來。
但我們討論的是還不知道怎么造的系統?，F在的路子能帶我們走一段，然后就會慢下來。它會繼續改進，但這還不是最終形態。這很大程度上取決于我們能否理解可靠的泛化。
對齊之所以難，是因為 AI 學習和優化人類價值觀的能力都很脆弱。
你不覺得這些都是不可靠泛化的例子嗎？為什么人類的泛化能力強這么多？如果 AI 也能這么強，會發生什么？這些問題目前還無法回答。
我們如何與人工智能實現長期平衡？
一種解決方案是：讓人類成為部分人工智能。這不是最理想的，但它彌合了理解的鴻溝，我們把 AI 的處境當作自己的體驗。
人類可能通過增強版 Neuralink 變成半 AI 生物。結果就是，AI 理解了什么，我們也理解了，因為這是全盤傳輸的。這樣一來，AI 處于某種情境，你也完全卷入其中。我認為這才是終極平衡的答案。
09
SSI 的未來規劃、目標和商業模式
SSI 打算怎么賺錢？
我的回答是：現階段，我們只專注于研究。這個問題的答案自然會浮現，我覺得會有很多種可能的答案。
SSI 的計劃依然是一步到位直通超級智能嗎？
也許吧。我覺得這個策略有它的優點。最大的優點是我們可以不受日常市場競爭的干擾。
但我覺得有兩個原因可能會讓我們改變計劃：
第一是務實的原因，如果研發時間線拉得特別長，這完全有可能。
第二，我認為讓最強大、最頂尖的 AI 盡早問世并影響世界，本身就有巨大的價值。這是一件非常有意義的事情。
但我認為即便是在最理想、最直接的情況下，我們也必須分階段發布模型。這種循序漸進是任何計劃中不可或缺的一部分。關鍵在于，你推出的第一款產品到底是什么，這是第一點。
第二點，持續學習非常重要。
比如，現在 AGI 和預訓練這兩個概念讓我們有點用力過猛了。如果你在預訓練的語境下思考 AGI 這個詞，你會發現人類其實并不是 AGI。人類有基礎技能，但我們缺很多知識，持續學習很重要。
所以，當我們說假設我們要造出一個安全的超級智能時，怎么定義它呢？它在持續學習的曲線上處于什么位置？
這就好比我造出一個絕頂聰明的 15 歲少年，充滿干勁，雖然懂的不多，但是個好學生。我會對他說：去當個程序員，去當個醫生，去學習吧。所以，AI 的部署過程本身就是一個試錯和學習的時期，而不是直接丟一個完美的成品。
SSI 到底打算做些什么不同的事情？
我認為有一些想法非常有前景，我想去深入研究，驗證它們到底行不行。就這么簡單。這是一次嘗試。 如果這些想法，特別是我們討論過的關于理解泛化的那些，被證明是正確的，那我們將創造出非常有價值的東西。 它們會是正確的嗎？這就是我們在做研究的原因。
我們是一家徹頭徹尾處于研發時代的公司。
我們在過去一年其實取得了相當不錯的進展，但我們還需要更多進展，做更多研究。我是這么看的：這是一種嘗試，我們想在這個領域發出聲音，并參與其中。
SSI 最大的不同是什么？
SSI 最大的不同在于技術路線。我們有一種不同的技術方法，我認為它很有價值，我們正在全力以赴。 但我堅持認為，最終大家的技術路線都會發生收斂。 隨著 AI 變得越來越強大，每個人都會大概看清該采取什么策略。這會是一種共識：你需要找到某種方式讓 AI 之間能夠交流，你需要確保你的第一個真正的超級智能是對齊的，是關心感知生命的，是關心人類的，是民主的，或者是這些特質的某種組合。 我認為這是每個人都應該追求的狀態。這也是 SSI 正在追求的。我想，如果不算現在的話，在這個時刻到來時，所有其他公司也會意識到這也是他們的目標。 我認為隨著 AI 變強，世界將發生真正的巨變。事情會變得非常不同，人們的行為模式也會完全改變。
本文首發于公眾號：Founder Park，如需轉載請聯系微信：geekparker
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
