今天聽完OpenAI華人工程師翁家翌和xAI工程師Sulaiman Ghori的播客采訪。發(fā)現(xiàn)兩位的分享有種隔空的默契,關(guān)于模型迭代、AI公司如何進(jìn)步的觀點(diǎn)很類似,也很有啟發(fā)。
先介紹翁家翌大佬,他從清華本科畢業(yè)后出國(guó)讀研,后來(lái)在OpenAI發(fā)布ChatGPT之前加入了這家公司。作為RL Infra的關(guān)鍵工程師,他參與了GPT-3.5、GPT-4、GPT-5等核心模型的訓(xùn)練。
1??翁家翌一直強(qiáng)調(diào),現(xiàn)在模型性能的提升,很多時(shí)候是infra迭代速度決定的。背后邏輯是,如果要驗(yàn)證一個(gè)想法,那一定需要Infra支持。這個(gè)時(shí)候如果Infra正確,那么誰(shuí)在更短時(shí)間內(nèi)驗(yàn)證的次數(shù)多、迭代效率高,就越可能找到最有效的方案。
2??順著這個(gè)邏輯,之后最容易被取代的是researcher,因?yàn)閕dea is cheap,可以和別人、AI討論生產(chǎn)。這里翁家翌還分享了一個(gè)自己同事的金句:“教一個(gè)researcher如何做好engineering,比教一個(gè)engineer如何做好research難得多。”(…
3??他還覺得OpenAI不是infra迭代速度最快的,因?yàn)楣粳F(xiàn)在好幾千人了,組織大就會(huì)降低效率。去年DeepSeek震驚全球時(shí)讓OpenAI內(nèi)部很警覺,因?yàn)椤癉eepSeek那波迭代聲稱很快”。目前OpenAI內(nèi)部在重構(gòu)新Infra架構(gòu),加速迭代。他還說(shuō)OpenAI“早就不做為了刷榜而做的事了”。
另外就是xAI的工程師Sulaiman Ghori也上了播客。他說(shuō)了很多xAI內(nèi)部的秘密秘?(似乎現(xiàn)在因?yàn)樾姑芴啾获R斯克開除了…
Sulaiman Ghori創(chuàng)業(yè)失敗后加入xAI,還是神秘兮兮的MacroHard項(xiàng)目的早期成員。他轉(zhuǎn)入這個(gè)項(xiàng)目時(shí)組里只有兩個(gè)人。聽Sulaiman Ghori分享,感覺xAI已經(jīng)把“速度”這件事刻在骨子里:
1?? xAI現(xiàn)在的一部分技術(shù)路線押注小模型,不搞Scaling那套,要靠“迭代速度”取勝。
這背后的原因是,模型小=訓(xùn)練成本低=周期短=試錯(cuò)成本低。大家可以多試幾個(gè)方向,發(fā)現(xiàn)效果好的方向就去加碼。
2??xAI并行跑著的幾十個(gè)訓(xùn)練任務(wù)通常由少數(shù)幾個(gè)人負(fù)責(zé)。如果某個(gè)條件暫時(shí)不成熟(比如硬件、數(shù)據(jù)這幾天不就緒)會(huì)先跑幾種方案,看哪個(gè)今天能交付、能產(chǎn)生收入或效果,兩周后條件成熟再切換。
3??馬斯克在內(nèi)部強(qiáng)調(diào)過(guò),xAI招聘不強(qiáng)調(diào)單獨(dú)的Researcher,大家都是engineer。
聽完這兩期內(nèi)容,感覺翁家翌和Sulaiman Ghori的分享確實(shí)是殊途同歸:有迭代速度才有驗(yàn)證和試錯(cuò)空間。尤其當(dāng)架構(gòu)需要?jiǎng)?chuàng)新,idea需要驗(yàn)證,競(jìng)爭(zhēng)對(duì)手又特別強(qiáng)的時(shí)候,敏捷就是一切!
#馬斯克 #OpenAI#AI#科技播客精華
![]()
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.