![]()
新智元報道
編輯:好困 桃子
【新智元導讀】終結Transformer的架構即將誕生!奧特曼最新訪談豪言,下一代AI架構徹底顛覆Transformer,LSTM的命運或?qū)⒃俅紊涎荨?/strong>
Transformer的最大受益者,親手給它判了死刑!
這幾天,Sam Altman回到斯坦福,面對一群大二學弟學妹,扔出了一顆深水炸彈——
未來一定會誕生全新的底層架構,性能躍升不亞于當年Transformer對LSTM的降維打擊。
要知道,GPT帝國就建在Transformer上面。
ChatGPT、GPT-4、o1、Codex,全是這套架構的果實。
而現(xiàn)在,摘果子的人親口說:這棵樹的壽命快到頭了。
甚至,奧特曼直言不諱,我們所追求的AGI可能只是一次「熱身」(warm up)而已!
而下一代全新架構突破已在路上——現(xiàn)有的高階LLM已具備足夠的認知力,能夠作為人類智力杠桿,親手推開另一個技術范式的大門。
![]()
用AI找到下一個Transformer
人們都說,暴力出奇跡,但暴力本身也有極限。
Transformer有一個天生的算力黑洞:文本長度翻10倍,計算量翻100倍。
這就是為什么今天跑GPT-5.4級別的模型,燒錢速度是天文數(shù)字。
奧特曼顯然看到了這面墻。但他并不覺得沒路走了,恰恰相反,他覺得推翻這堵墻的工具已經(jīng)到手了。
訪談中有一句極其關鍵的話:現(xiàn)在的模型終于聰明到可以輔助人類去做這種級別的科研了。
![]()
意思是,找到下一代架構這件事本身,已經(jīng)可以讓AI來幫忙了。
用當下的AI去發(fā)現(xiàn)能取代它的新架構,邏輯鏈條很清楚:
模型越強→科研效率越高→新架構被發(fā)現(xiàn)的概率越大→新架構反過來讓模型更強。
一個自我加速的飛輪,就這樣形成了。
奧特曼之所以有底氣下這個判斷,跟一路走來對范式轉換的獨特嗅覺有關。
大一暑假,他跑去斯坦福的AI實驗室打工,結論是「這些玩意兒根本沒戲」,然后就跑去搞別的創(chuàng)業(yè)了。
不過,對AI的關注卻從未間斷過。用奧特曼自己的話說,這是一種「抬頭看全局」的習慣,別陷入管中窺豹。
2012年AlexNet橫空出世,他和大多數(shù)人一樣,覺得「挺酷的」,但沒往心里去。
![]()
接下來幾年,深度學習模型越做越大、越做越強,奧特曼一直在旁邊看著。直到某個臨界點,感覺徹底變了——這東西簡直像一顆正在逼近的小行星,極其瘋狂,但整個世界居然沒幾個人當回事。
于是2015年OpenAI成立。核心信念只有一條:把深度學習的規(guī)模往死里推,看看會發(fā)生什么。
但當時說要建AGI實驗室,整個行業(yè)的老前輩都覺得他們瘋了,甚至直接說他們是騙子。
不過結果大家都看到了。
GPT-2讓奧特曼第一次見到計算機做出了前所未有的事情,GPT-3驚艷了世界,GPT-4更上一層樓。當你站在一個正確的范式上死磕,回報是指數(shù)級的。
現(xiàn)在,同樣的直覺被投射到了下一個范式上。
Transformer不是終點,就像LSTM不是終點。
奧特曼甚至給了具體建議:
如果現(xiàn)在是一個研究者,會死磕這個方向,去找「哪里能挖出核彈級突破」,而且會重度依賴大模型來做科研助手。
Greg公寓里的白板
一個改變世界的夜晚
這場訪談最好看的部分,是奧特曼對OpenAI草創(chuàng)期的回憶。
OpenAI第一天上班,大家聚在聯(lián)合創(chuàng)始人Greg Brockman的公寓里。
早上9點半、10點,八九個人陸陸續(xù)續(xù)到了,坐在沙發(fā)上,面面相覷。
然后有人開口:「好吧,咱們干點啥?」
有人提議寫幾篇論文。又有人說得先弄塊白板。然后就有人直接在亞馬遜上下單,加急配送。
奧特曼說當時內(nèi)心一陣恐慌:這不行啊。這既不像正兒八經(jīng)的創(chuàng)業(yè)公司,也不像任何能成事兒的組織。
但他緊接著說了一句非常奧特曼的話:在那種時刻,你只要深呼吸,相信如果身邊聚的都是最優(yōu)秀的人,事情總會迎刃而解。
他賭對了。
![]()
就在那第一周,后來成為OpenAI前四年核心理念的大部分點子,都被寫在了那塊白板上。盡管當時他們自己都覺得這些想法不靠譜。
他們一開始壓根沒想過做產(chǎn)品。
奧特曼反復強調(diào),他們以為自己就是個純研究實驗室,發(fā)發(fā)論文就好了。
但后來兩件事變得越來越清晰:
第一,這條路蘊含的經(jīng)濟價值遠超想象;
第二,需要的資金不是幾十億,而是數(shù)以千億計。
而真正讓奧特曼建立起信仰的轉折點,是GPT-2。
他說不記得GPT-2發(fā)布那天的具體日期了,但他永遠記得第一次跟那個模型對話的那個夜晚。
它做出了我以前從未見過計算機能做出的事情。
那一刻他覺得,妥了,這就是了。
至于GPT-2為什么暫緩發(fā)布?奧特曼承認,事后看來有些過度謹慎,但他覺得面對AI每一個新的能力臺階,稍微偏向謹慎一點沒壞處。
當然也不能慫過頭。如果企業(yè)不以足夠快的速度擁抱AI,就會被完全自治的AI公司干掉,那才是真正的災難。
斯坦福訪談全景
奧特曼的10個判斷
架構預言和創(chuàng)業(yè)往事之外,奧特曼在這場訪談中還密集輸出了大量觀點,幾乎每一條都值得單獨拎出來聊。
1. AGI兩年內(nèi)降臨。
奧特曼直接告訴臺下的大二學生:
等你們畢業(yè)的時候,你們將踏入一個已經(jīng)有AGI的世界。
當然,人類的底層驅(qū)動力不會變,你還是得搬家、找工作、考慮成家立業(yè)。
但科學研究將被高度自動化,創(chuàng)辦初創(chuàng)公司和去大廠打工的意義都將被徹底改寫。
2. 編程智能體是下一個ChatGPT時刻。
下一個引爆點是什么?奧特曼沒猶豫:編程AI智能體。
緊隨其后、但尚未完全引爆的,是AI在所有知識型工作中執(zhí)行任務的同等能力。
不過,距離這一天已經(jīng)不遠了。
3. 一個人能干出一家中型公司的活兒。
未來會涌現(xiàn)大量一個人或六個合伙人的微型初創(chuàng)公司,影響力和營收甚至能跟今天的中大型企業(yè)掰手腕。
奧特曼說iPhone問世算是上一次這種級別的機會,這一次更猛。
不僅能做以前不敢想的事,還能用極少的人力極快地把產(chǎn)品和公司建起來。
4.AICEO?不是不可能。
聊到AI對社會的影響,奧特曼說了句耐人尋味的話:
他絕不會自欺欺人地認為,不太遙遠的未來不會出現(xiàn)一個比他更適合執(zhí)掌OpenAI的AI CEO。
如果有的公司或國家擁抱了AI而別人沒有,競爭力差距將是碾壓級的。
這背后的政治、經(jīng)濟、社會沖擊,他坦言自己也還沒完全想明白。
5. 但別慌,人類的適應力被嚴重低估了。
奧特曼不是AI末日論者。
他反復強調(diào)一個觀點:AGI聽起來像是要徹底顛覆社會,但身處其中的感覺不會像聽上去那么驚悚,頂多頭幾天覺得有點懵。
人類渴望對彼此有價值、渴望競爭、渴望創(chuàng)造、渴望表達,這些底層驅(qū)動力不會消失。
也許100年后的職業(yè)跟今天毫無相似之處,但人永遠有事可做,也永遠在意人與人之間的連接。
![]()
6. 別怕跟OpenAI競爭。
有人問,OpenAI變成終極巨頭怎么辦?
奧特曼的回答出乎意料地坦誠:當年所有人都說不可能跟谷歌打,結果我們打出來了。
總有一天會有比OpenAI更大更成功的公司誕生,而他們絕對不會走一模一樣的路。
他甚至說,谷歌當初如果不那么「拉胯」,OpenAI根本不可能出頭。
大廠有大廠的通病。
7. 燒錢快,但不慌。
面對「OpenAI燒錢速度恐怖」的尖銳提問,奧特曼很淡定:燒錢確實快,但如果今年砸10億是為了明年賺30億,世界上大把資本排隊想做這筆買賣。
8. 自研芯片是認真的,蓋數(shù)據(jù)中心免談。
OpenAI有龐大的定制芯片計劃,對自家推理芯片極其興奮。
至于自建數(shù)據(jù)中心,用奧特曼原話說就是:真的一萬個不想干這苦力活。
被逼到那一步也會上,但最好是把服務器機架設計到極致,臟活累活讓別人干。
9. 社交產(chǎn)品要被撕開一條口子了。
奧特曼覺得AI的機會遠不止給現(xiàn)有軟件「塞個AI進去」。
他舉了社交產(chǎn)品的例子:想象一堆AI智能體代表各自的用戶在虛擬空間自主聊天、交換信息,這才是底層邏輯的顛覆。
10. 知道很容易,做到更難了。
這是奧特曼博客第一篇文章里就寫過的話。
AI時代還成立嗎?他說比以前更成立了。
獲取知識越來越容易,做成事情雖然也變?nèi)菀琢耍鞘菍λ腥硕缘摹愕酶澜缫黄鹁怼?/p>
他說他認識的那些把AI工具玩得最溜的頂尖高手,都覺得自己的工作從來沒有比現(xiàn)在更難。
工具強到離譜,但用好它們以保持頂尖競爭力也前所未有地艱難。
Sam,你真的快樂嗎?
訪談最后一個意外瞬間,是學生的靈魂拷問。
要知道,這是一個每天早上8點以后人生就徹底失控的CEO。
先工作幾小時,陪孩子一小時,然后去公司,從那之后就是純粹的兵荒馬亂。
用他的話說,沒有哪家公司像OpenAI這樣跑得這么快、內(nèi)部這么混亂、還死死頂在所有人槍口上。
但奧特曼說,他現(xiàn)在是他認識的人里最快樂的之一。
他分享了一個改變?nèi)松恼J知轉變。
大多數(shù)人覺得糟糕經(jīng)歷的反面是美好經(jīng)歷,所以遇到壞事就痛苦。但他把問題重構了,糟糕經(jīng)歷的反面,其實是徹底失去體驗的能力。
總有一天你連體驗的資格都沒有了,到那時你甚至會懷念那些被虐的日子。
后Transformer賽道
革命已經(jīng)開始
奧特曼的預言不是空中樓閣。
「后Transformer」的競賽早就打響了,進展比大多數(shù)人想象的快得多。
最高調(diào)的挑戰(zhàn)者是Mamba。
Albert Gu和Tri Dao在2023年底提出的這一架構,徹底繞開了「注意力機制」,改用狀態(tài)空間模型(SSM)處理序列。
簡單說,Transformer讀一段話要讓每個詞跟其他所有詞「對視」一遍,Mamba只維護一個固定大小的記憶狀態(tài),線性時間搞定,推理吞吐量直接快5倍。2026年初Mamba已進化到第三代,論文被ICLR 2026接收。
產(chǎn)業(yè)界的動作更能說明問題。
英偉達在2025年發(fā)布Nemotron-H系列,92%的注意力層被Mamba層替換,推理速度提升3倍,精度不降反升。
到2025年底,英偉達全線新模型(Nemotron 3 Nano/Super/Ultra)全部切換到Mamba-Transformer混合架構。
AI21 Labs的Jamba、IBM的Bamba、微軟的Phi-4-mini-flash-reasoning、LSTM之父Sepp Hochreiter親自操刀的xLSTM,也紛紛加入混合陣營。
更野的方向也有:Liquid AI搞出的液態(tài)神經(jīng)網(wǎng)絡(Liquid Neural Networks),靈感來自一條只有302個神經(jīng)元的線蟲。
它用微分方程驅(qū)動神經(jīng)元,推理時還能繼續(xù)學習、實時適應環(huán)境變化,19個神經(jīng)元就能控制自動駕駛。2026年1月發(fā)布的LFM2.5模型,用遠小于Transformer的參數(shù)量跑出了驚人的性能。
下一次大遷徙,會誕生誰?
回顧歷史,從LSTM到Transformer的每一次架構級遷徙,都釋放了一個數(shù)量級以上的能力增長,同時也誕生了定義時代的偉大公司。
上一次遷徙,誕生了OpenAI。下一次呢?
奧特曼自己都說了:總有一天會有比OpenAI更大更成功的公司出現(xiàn)。
也許此刻,那個未來的創(chuàng)始人正坐在某個宿舍里,對著一塊亞馬遜加急配送的白板,寫下第一個不靠譜的想法。
而他手里多了一個前所未有的利器——AI本身。
參考資料:
https://x.com/rohanpaul_ai/status/2033117083127644536?s=20
https://www.youtube.com/watch?v=FjlymGBt-vY
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.