AI大神卡帕西自曝：玩龍蝦玩出“AI精神病”，token不燒完就焦慮

智東西
編譯 陳駿達
編輯 李水青

智東西3月23日報道，在上周六發布的播客中，OpenAI聯合創始人、AI大牛Andrej Karpathy（安德烈·卡帕西）系統梳理了自己在AI編程和OpenClaw浪潮中的一線體感與方法論，他笑稱由于AI領域的飛速發展，自己仿佛出現某種“精神錯亂”，在不同新事物之間疲于奔命。他還發現，當下AI編程智能體的瓶頸已不只是模型能力：“Agent做不好，多半是Skill問題。”

“我現在幾乎一行代碼都沒再親自寫過。”在Karpathy看來，軟件工程的工作流已經在短短幾個月內被Agent徹底改寫。現在不是人寫代碼，而是人用自然語言調度一群智能體完成系統級任務。過去他80%代碼靠自己，如今變成80%交給Agent完成，甚至更高。

除了將Agent用于編程之外，OpenClaw的爆發也改變了Karpathy的生活。他打造了一個名為“多比”的OpenClaw，直接“接管”家庭，自動掃描并接入音箱、燈光、安防等設備，自主尋找API、建立控制面板，還能在陌生人接近時發預警。

這一經歷讓Karpathy得出判斷：許多App都應該是Agent可調用的API，Agent就是粘合劑。OpenClaw之所以特別，不是因為某個功能最強，而是它更接近人們心目中的AI形態。

值得一提的是，在預告這期播客的推文下，Karpathy在OpenAI的前同事、OpenAI o1模型作者之一Noam Brown發了一條頗有“火藥味”的推文，質疑Karpathy在這一關鍵時刻，為什么不在AI前沿實驗室好好做研究。

對此，Karpathy也在播客中做出正面回應，如果深度綁定一家前沿AI實驗室，就很難保持完全獨立的立場，離開后反而與人類整體的立場更為對齊。財務激勵與社會責任之間存在“利益沖突”，這也是OpenAI創立時就存在的問題，至今未能解決。

Karpathy認為，在前沿AI Lab干一段時間，做一些高質量工作，然后再離開，是個不錯的方式——既能跟上真實進展，又不至于完全被某個實體控制，還給生態做了貢獻。這番表態，頗有點“普羅米修斯盜火”的意味，或許真是他從OpenAI急流勇退的原因。

在這期播客中，Karpathy還就自動化研究、大模型能力“鋸齒化”、開源與閉源競爭格局，以及AI對就業與軟件形態的重構分享了自己的思考，以下是這期播客的核心內容：

1、AI編程：去年12月以來，AI編程的范式已經徹底改變，如今人其實不是在編程，而是在向Agent表達自己的想法。

2、生產力焦慮：行業目前最焦慮的已經不是能不能跑滿GPU了，而是能不能用完token，“訂閱沒用完我就焦慮，說明我的token吞吐量沒拉滿。”

3、自動研究：AI已經能高度自動化地完成復雜研究任務，人類要做就是把人從所有流程中撤走，盡可能自動化，追求極高的Token吞吐量。

4、模型能力呈鋸齒狀分布：模型在不同領域的能力仍然參差不齊，如今與AI對話的感覺，就像是同時在和一個天才程序員和一個10歲小孩對話。

5、泛化問題：智能并沒有全面溢出，可驗證能力的提升并不會帶動模型軟性能力的提升。比如，模型在代碼上變強了，但講笑話還是五年前的爛梗。

6、職業選擇：在前沿實驗室工作并不自由，有太多利益糾葛和立場約束，在這些機構之外，反而更接近“人類整體”的立場。

7、開源v.s.閉源：完全封閉的智能還是有系統性風險的。開源模型如果并非最強，最好也只是稍微落后，扮演行業的“共同工作空間”角色，確保權力平衡。

8、單一大模型v.s.專用小模型：大模型會出現更多“物種分化”，但是持續學習、微調和權重修改等相關技術仍未成熟。

9、機器人：操作原子（物理世界）要比操作比特（數字世界）難上100萬倍，但物理世界的總潛在市場（TAM）可能比純數字世界還大。

10、AI與教育：人類互相教授知識的時代要結束了，未來教育的模式可能是先讓agent搞懂，然后讓它來教人。

以下是播客內容的完整編譯：

一、AI“龍蝦”編程效果不佳？多半還是Skill問題！

主持人：我記得有段時間走進你的辦公室，看到你非常專注，我問你在做什么，你說“我必須每天‘編程’16小時”。編程甚至都不是正確的動詞了，你其實是在向Agent表達自己的想法。跟我說說你的體驗。

Karpathy：我感覺自己一直處在一種“AI精神錯亂”（AI psychosis）的狀態，現在也經常如此。因為作為個體，你能實現的事情變得更多了。過去你會受限于打字速度之類的因素，但現在有了這些Agent，情況完全不同了。

從去年12月開始，我的工作方式迎來真正的轉折點：原本我手寫80%的代碼，剩余20%交給Agent，現在變成了20%自己寫、80%交給Agent，甚至可能還不止80%。從那時起，我幾乎一行代碼都沒再親自寫過。

隨便找一個軟件工程師，去看看他們在做什么，你會發現他們構建軟件的默認工作流，從去年12月開始已經徹底改變了。

這是一個極其巨大的變化。我也跟我父母聊過這件事，其實普通人并沒有意識到改變正在發生，或者沒有意識到它有多戲劇性。

所以我現在的狀態就像是“精神錯亂”了一樣，試圖搞清楚到底哪些事是可行的，并把這些可能性推向極限。我會想：怎么能不局限于單次會話的Claude Code或Codex？怎么能擁有更多？怎么才能更合理地利用這些能力？這些OpenClaw到底能用在什么場景？新東西實在太多了。

我覺得自己必須站在最前沿。我在Twitter上看到很多人在做各種嘗試，聽起來都頭頭是道。如果我不處在前沿，就會感到非常焦慮。這種“精神錯亂”狀態，本質上是因為我們還在探索“什么是可能的”，而這個領域從根本上說仍是未知的.

主持人：如果你都感到焦慮，那我們其他人就更不用說了。我們有個合作團隊，他們的工程師完全不手寫代碼，所有人都戴著麥克風，一直對Agent低語。這是有史以來最奇怪的工作場景。我以前覺得他們瘋了，現在我完全接受了，“哦，這才是正道”。你只是領先了一步。你覺得現在自己探索或做項目的能力受限于什么？

Karpathy：Agent做不好，多半是人沒掌握好Skill。不是它不行，是你還沒摸清楚怎么把現成的東西組合起來。比如agents.md文件里的指令寫得不夠好，或者沒配個好用的記憶工具，歸根結底都是Skill問題。

最好的辦法是讓Agent并行干活，就像Peter Steinberg（OpenClaw作者）那樣。Peter有張特別逗的照片——他坐在顯示器前，屏幕上鋪滿了一堆Codex Agent。如果提示詞寫得對，再開個高強度推理模式，每個任務差不多要跑20分鐘。他手上大概有10個repo要檢查，就來回切換著給Agent分配工作。

這樣你就能用更大的顆粒度去操作了，不是“這兒改一行代碼，那兒加個新函數”這種小打小鬧，而是“這個新功能交給Agent 1，那個新功能不沖突，給Agent 2”，然后根據你對代碼的重視程度去審查它們的產出。

這些就是操作代碼倉庫的“宏觀動作”。一個Agent在做研究，一個在寫代碼，另一個在規劃新的實現方案，所有事都在這些宏觀動作里推進。你得努力精通這套玩法，練出肌肉記憶。這事兒特別有回報，一來是真的有用，二來是你在學新東西。所以才會“精神錯亂”。

二、“訂閱沒用完我就焦慮，說明我的token吞吐量沒拉滿”

主持人：我的直覺是，每次等Agent干完活兒，都覺得自己應該多干點別的，對吧？如果token還富余，就該并行塞更多任務進去。這挺有壓力的，因為要是你不覺得token花費是瓶頸，那系統里真正的瓶頸就是你自己了。

Karpathy：起碼說明你訂閱的額度沒用滿。理想情況下，Codex跑滿了就該切到Claude或者別的。我最近一直在試這個模式，訂閱沒用完我就焦慮，說明我的token吞吐量沒拉滿。

我讀博的時候其實也經歷過這種事，GPU沒跑起來就焦慮——明明有GPU算力，FLOPS卻沒榨干。但現在不是FLOPS了，是token。你的token吞吐量是多少？你指揮著多少token在跑？

主持人：我覺得挺有意思的，過去至少十年，很多工程任務里大家都不覺得受計算限制，而目前整個行業突然變得受資源限制了。現在能力突然躍升了，你就會發現“哦，原來不是我搞不到算力，瓶頸是我自己”。

Karpathy：是Skill問題。研究這事兒能讓你變得更好。我覺得挺上頭的，因為你變強了就會解鎖新東西。

主持人：你覺得會往哪兒發展？比如Karpathy每天迭代16小時，其他人也在用編程Agent變強，一年后你達到的精通水平，會是什么樣?

Karpathy：精通是什么樣？年底，還是兩年、三年、五年、十年后?我覺得大家都想往技術棧的上層走。不是單次和Agent聊天，而是多個Agent怎么協作、團隊怎么配合，大家都在摸索那會是什么樣。

然后我覺得OpenClaw也是個有意思的方向，因為我說的OpenClaw是指那種把持久性提升到新層次的東西。它是那種持續循環運行的，不是你交互式參與的，它有自己的小沙盒，自己干事兒，哪怕你不盯著，還有更復雜的記憶系統之類的，這些Agent里還沒實現。

OpenClaw的記憶系統就比默認的大模型復雜多了，默認只是上下文滿了就壓縮記憶。

主持人：你覺得OpenClaw是不是憑借這一點打動了用戶，還是更廣泛的工具訪問?

Karpathy：我覺得OpenClaw有很多非常好的想法。Peter做得特別棒。我最近見到他聊過，他挺謙虛的，但我覺得他同時在五個不同維度創新，然后整合到一起。比如那個“靈魂文檔（soul.md）”，他真的精心打造了一種有吸引力、有意思的人格。我覺得現在很多Agent都沒做對這點。

Claude的人格就不錯，感覺像隊友，跟你一起興奮。有意思的是ChatGPT里的Codex很活潑、很有活力，但Codex這個編程Agent就很枯燥，好像不在乎你在創造什么，雖然完成了，但是它好像不理解我們在構建什么。

主持人：確實。

Karpathy：還有一點，比如Claude，我覺得他們把模型的“人格”調得挺好。Claude夸我的時候，我確實覺得配得上。因為當我給它的想法不太成熟的時候，它反應就不強烈。但按我自己的標準，真是好想法的時候，它好像會多獎勵一點。我有點想贏得它的夸獎，這真挺奇怪的。

人格很重要，很多其他工具可能沒那么重視。Peter真的很在乎這個，所以做對了。然后是記憶系統，還有通過單一WhatsApp入口，訪問所有功能，這個設計很不錯。

三、“一切都應該是API端點，Agent是粘合劑”

主持人：你個人用OpenClaw做過什么編程之外的有意思的事嗎?

Karpathy：1月份的時候，我經歷了一段“OpenClaw精神錯亂”時期。我搭了個照顧家的OpenClaw，叫它“家養小精靈多比”。我用Agent找家里局域網上所有智能家居子系統，還挺驚訝居然開箱即用。

我只是跟它說“家里有Sonos，你能找找嗎？”它就做了IP掃描，找到Sonos音箱，結果沒密碼保護，直接登進去了。然后它開始逆向工程，看看這些系統是怎么工作的，也做了些網絡搜索，直接找到API端點，問我想試試嗎，然后音樂就出來了。

燈光也一樣。它基本上是黑進了系統，搞清楚了整個系統，創建了API，創建了儀表盤，我能看到家里所有燈的指揮中心，然后開關燈。我可以跟它說：“多比，要睡覺了”。這條指令就可以把所有燈關掉，它還控制著我所有的燈、空調、窗簾、泳池、水療吧，以及安保系統。

我有攝像頭對著房子外面，每次有人進來，首先會進行變化檢測，然后基于變化檢測去調Qwen，最后給我發WhatsApp消息，顯示外面的圖像，比如：“嘿，FedEx卡車剛到了，你可能想檢查一下，你收到郵件了。”這是多比剛給我發的，真的很不可思議。

多比管著房子，我通過WhatsApp跟它發消息，這些宏觀動作真的很有意思。我還沒真正推得更遠，我覺得有人在做更瘋狂的事。但就算只是家庭自動化設置，我以前要用六個完全不同的App，現在不用了，多比用自然語言控制一切，很神奇。我覺得我還沒完全推到這個范式的極限，但已經很有幫助、很有啟發了。

主持人：你覺得這從用戶體驗角度說明了人們想要什么嗎？因為學習新軟件、新UI是需要人類努力的，這在過去被忽視了。

Karpathy：某種程度上是對的。OpenClaw實現的東西，本質上是從“人們覺得AI應該是什么樣”這個角度倒推出來的。人們心目中的AI其實不是原始意義上的大模型——大模型就是個token生成器，但人們想象中的AI是那種有人格、有身份的存在，你可以跟它分享事情，它也會記得，就像WhatsApp背后的某個實體，更好理解。

所以某種程度上說，OpenClaw匹配了人類對AI行為的既有期望，但底層有很多技術細節。比如大模型作為原始原語對大多數人來說太“原始”了，對很多人來說不能真正被當成AI來看待。

主持人：我覺得這就是我們理解AI的方式，把它描述成多比或某種人格顯然能引起共鳴。我覺得你把六個不同的軟件系統統一起來做家庭自動化，也指向另一個問題：人們真的想要我們今天擁有的所有這些軟件嗎？你所做的就是把這些硬件的軟件層或UX層扔掉了。你覺得這是人們想要的嗎？

Karpathy：我覺得有種感覺是，應用商店里那些配套智能家居設備的App，某種意義上根本不應該存在——不應該就是個API嗎，Agent不應該直接調用嗎？我能做各種家庭自動化，任何單個App都做不到。大模型能驅動工具、調用所有正確的工具、做相當復雜的事。

這說明業界可能生產了太多定制App，它們不應該存在，因為Agent把它們都統一起來了，一切都應該更像是暴露出來的API端點，Agent是粘合劑，是實際調用所有部分的智能。

另一個例子是我的跑步機，有個跑步機App，我想記錄做有氧的頻率，但我不想登錄網頁UI、走流程什么的。這些都應該只是開放的API，這是走向Agent化網絡或Agent優先工具的方向。所以行業必須在很多方面重新配置，客戶不再是人類，而是代表人類行事的Agent，這種重構可能會相當徹底。

有人反駁說，我們期望人們vibe code這些工具嗎？普通人要做我剛才描述的這些嗎？但某種程度上這只是今天的技術現狀，現在有vibe coding，我在觀察、在跟系統合作。

但我覺得我剛才說的這些，一兩年或三年后應該是免費的，沒有vibe coding參與，這是微不足道的，是基本要求，任何AI甚至開源模型都能做這個。

主持人：大模型應該能很容易地把不熟悉技術的人的意圖，翻譯回去。

Karpathy：今天還是需要vibe coding，但沒多少人會做。

主持人：而且你還得做些設計決策，對吧？比如取幀。

Karpathy：但我覺得門檻會降下來，只是為你服務的臨時軟件，某個OpenClaw處理所有細節，你不參與。它有臺機器，會搞清楚，只給你呈現UI，你說話就行。

主持人：你為什么沒把個人用OpenClaw的邊界推得更遠？是因為你專注更重要的項目，比如自動研究，還是在研究如何精通Vibe Coding，或者其他原因？

Karpathy：我覺得我分心了。我花了一周在OpenClaw的東西上，但還有更多嘗試可以做。我沒給它郵件、日歷和其他東西的訪問權限，因為我還有點懷疑。它還很新、很粗糙。我不想給它我數字生活的完全訪問權。部分原因是安全、隱私，也許這是主導因素。但部分也確實是因為我被分心了。

四、AI已能“自動研究”，人類別拖后腿

主持人：你探索“自動研究”的動機是什么？你一直在說，想讓Agent做訓練或至少優化模型的任務。

Karpathy：我早先有條推文，大意是為了充分利用現在可用的工具，你必須把自己從瓶頸中移除，你不能在那里寫提示詞，指揮模型做下一件事，需要把自己抽離出來，安排好任務讓它們完全自主。怎么在不參與循環的情況下，最大化你的token吞吐量，這才是目標。

現在要做的就是增加你的杠桿，我只輸入很少的token，偶爾一次，但是有大量事情正在發生。

人們喜歡這個概念，但可能沒完全想通含義。對我來說，自動研究員就是上述觀點的案例之一——我不想做研究者，看結果什么的，我在拖系統后腿，所以問題是怎么重構所有抽象層。

我們要做的就是讓Agent能運行更長時間、不用你參與、代表你做事。所謂的自動研究員就是，你告訴Agent，這是目標，這是指標，這是能做和不能做的事情，放手去做吧。

主持人：你對它的有效性感到驚訝。

Karpathy：對，我沒想到會有效。我有nanoGPT這個項目，很多人不理解我對訓練GPT-2模型的著迷，但對我來說，訓練GPT模型只是個小工具、小游樂場。我真正更感興趣的是遞歸自我改進這個想法，以及大模型能在多大程度上改進大模型。所有前沿實驗室都在做這件事，他們都在大致嘗試遞歸自我改進。

這個項目對我來說就是一個小游樂場。我已經用經典的手工方式調過nanoGPT了——我是研究者，做了大概二十年。我做了很多實驗，做了超參數調優，做了所有事，非常熟練，達到了某個點，我覺得調得相當好了。

然后我讓自動研究跑了一晚上，它給我帶來了我忽略的調優空間，比如我確實忘了值嵌入的權重衰減，我的Adam beta沒充分調好，這些東西是聯合交互的，一旦調一個，其他的也可能要變。

我不應該是瓶頸，我不應該跑這些超參數搜索優化，我不應該看結果，這種情況有客觀標準。所以你只需安排好Agent，讓它能一直跑下去。我很驚訝它找到了這些調優空間，代碼庫已經高度優化了。

而這還只是單循環，前沿AI實驗室有數以萬計GPU的集群。不難想象，可以在較小模型上進行大量這種研究。所有前沿AI模型都是關于外推和Scaling損失的，可以在較小模型上做大量探索，然后嘗試外推出去。

主持人：你的意思是，如果能更好地進行這種實驗，那研發效率會大幅提升，在擴大模型規模時，也會有更明確的方向。

Karpathy：是的。我覺得目前最有趣、可能也是頂尖實驗室正在攻克的項目，就是在小模型上做實驗。你會試圖讓實驗過程盡可能自動化，把研究員從環節中踢出去。研究員們往往有種“過度自信”，其實他們不該插手這些過程。你得重寫整個流程，雖然現在研究員還能提供點想法，但不該由他們去執行。

想象一下，有一個點子隊列，可能還有一個“自動化研究員”，它根據所有的arXiv論文和GitHub倉庫產生靈感并輸入隊列；人類研究員也可以貢獻點子，但它們都進入同一個隊列。然后由自動化Agent去抓取任務并嘗試。行得通的代碼就進入功能分支，人工只需偶爾監控一下并合并到主分支。

總之，就是把人從所有流程中撤走，盡可能自動化，追求極高的Token吞吐量。這需要重新思考所有的抽象層，一切都要推倒重來。這非常令人興奮。

五、AI能力呈“鋸齒狀”分布：有時像天才，有時像10歲小孩

主持人：如果我們再往深處推演一級，模型什么時候能寫出比你更好的“program.md”？

Karpathy：“program.md”是我嘗試描述自動化研究員如何工作的一個簡陋草案——比如“先做這個，再做那個，嘗試這些架構或優化器的點子”。我只是用Markdown隨手寫出來的。你肯定想要一種自動化研究循環，去尋找更優的方案。你可以想象，不同的“program.md”會帶來不同的進展。

每一個研究機構其實都可以由一個“program.md”來描述。一個研究機構就是一組描述角色和連接方式的Markdown文件。你可以想象一個更高效的機構：也許他們早上的會更少，因為那純屬浪費時間。既然這一切都是代碼，你就可以微調它：有的開會少，有的偏好高風險。

你可以打造多個不同的研究機構，每個機構都以代碼表示，有了代碼就可以對其進行優化。你可以分析進步是從哪兒來的，然后調整“program.md”，讓它多做有效的事，少做沒用的事。

主持人：這就是元優化（Meta Optimization）。

Karpathy：這主意很棒，但得一步步來。這就像剝洋蔥：現在大模型部分已經是常態了，智能體部分也是常態了，像OpenClaw也是常態了。現在你可以擁有多個實體，給它們指令，甚至對指令進行優化。這信息量確實有點大，甚至讓人感覺有點“精神錯亂”，因為它是無限嵌套的，而且一切都還處于早期階段。

主持人：如果我們要判斷當下，什么樣的技術才是核心？我們是否應該在各個領域都嘗試實現這種“去人化”的自動化循環？核心是建立指標，還是創造讓Agent在沒有你的情況下持續工作的能力。那“性能工程”（Performance Engineering）還有地位嗎？

Karpathy：關于AI生態我有幾點想提醒。第一，這種模式極其適合那些有客觀指標、易于評估的領域。比如編寫更高效的CUDA算子。有一段低效代碼，想要一段行為完全一致但速度更快的高效代碼，這是自動化研究的完美場景。但如果你無法評估，你就沒法對其進行自動化研究。

第二，雖然我們能看到下一步，但模型的基本功層面其實還有很多不足，沒完全跑通。如果你步子跨得太大，最后可能反而沒用。現在的模型雖然進步很大，但在某些方面還是比較粗糙。我感覺自己同時在和一個天才級的系統程序員以及一個10歲小孩對話。

這種“鋸齒狀”（Jaggedness）的能力分布很奇怪，人類的能力通常更均衡。有時候我要求一個功能，結果Agent給我的完全是錯的，然后陷入完全錯誤的循環，我就特別崩潰。明明能感覺到它的強大，但它偶爾還是會干出完全沒道理的事情。

六、模型能力“泛化”仍然存疑，一切都卷在不透明的神經網絡里

主持人：當我發現Agent在一些顯而易見的問題上浪費了大量算力時，我會非常惱火。

Karpathy：我猜這背后的深層原因是：這些模型是通過強化學習（RL）訓練的。它們也面臨我們剛才聊到的問題：實驗室只能在可驗證、有獎勵反饋的領域提升模型。代碼寫對了嗎？單元測試過了嗎？這些好辦。

但它們在比較“軟”的東西上就掙扎了，比如：我到底想要什么細微差別？我意圖是什么？什么時候該反問我求澄清？凡是感覺比較模糊、不明確的領域，它們就明顯差很多。

所以你要么就在軌道上，屬于超級智能的一部分，要么就偏離軌道，進入了不可驗證的領域，然后一切就開始漫無目的地游蕩。

換個說法：你今天去用最強的ChatGPT，說“給我講個笑話”，你大概率知道會得到哪個笑話。

主持人：我猜ChatGPT大概翻來覆去就那三個笑話。

Karpathy：沒錯。所有大模型最愛講的笑話永遠是：“為什么科學家不信任原子（Atoms）？因為它們構成了（Make up，也有編造之意）一切。”

這是三四年前模型講的笑話，現在依然是。盡管模型在Agent任務上已經能移山填海，可你一讓它講笑話，它還是五年前的爛梗。

因為這不在強化學習的優化范圍內，它是“鋸齒狀能力”中的洼地。模型能力提升的同時，講笑話的能力并沒有提升。它沒有優化，而是停留在了原地。

主持人：這是否說明我們在“泛化”意義上并沒有看到更廣的智能——比如講笑話的聰明度并沒有跟寫代碼的聰明度綁定在一起？

Karpathy：對，我覺得確實存在一定程度的解耦。有些東西可驗證、被重點優化；有些東西沒有被優化。有些領域實驗室根據訓練數據隨意優化，有些根本沒動。

主持人：有一些研究組的前提是：如果你在代碼生成等可驗證領域變得更聰明，就應該在所有領域都更聰明。但笑話這個例子說明，至少目前并沒有發生全面的溢出。

Karpathy：我也不覺得發生了。我覺得有一點點，但遠沒有達到讓人滿意的程度。

主持人：人類也有這種特質。你可以數學極其厲害，但講笑話巨爛。

Karpathy：但這也說明，我們并沒有得到那種“模型越強，所有領域的智能都自然而然跟著變強”的故事。并不是這樣。存在盲區，有些東西根本沒被優化。這一切都卷在不透明的神經網絡里。

如果是獲得針對性訓練的能力，就會光速前進，如果不在這一范圍內，表現就不佳。這就是能力的參差不齊。

即使方向很明顯，也還不能完全放手讓它跑，因為它還沒完全跑通——要么是技術還沒成熟，要么是我們還沒搞明白怎么用。

七、大模型會出現更多“物種分化”，但相關技術仍不成熟

主持人：我能問一個有點大逆不道的問題嗎？我們現在還是把模型打包成一個單體模型，但如果這種參差不齊的能力分布會一直存在，那是否應該把模型拆開，拆成可以在不同智能領域分別優化、分別改進的東西？比如拆成多個專家模型（Mixture of Experts），每個專注不同領域。

而不是現在這樣：一個大模型什么都行，但為什么在這件事上表現很好、在另一件事上表現極差，讓人非常困惑。

Karpathy：我現在的感覺是：前沿實驗室還是想做一個單一的“單文化”模型，在所有領域都盡可能聰明，然后把一切都塞進參數里。但我認為未來應該會出現更多的“物種分化”（speciation）。

就像動物界，大腦形態極其多樣，有各種生態位。有些動物視覺皮層超級發達，有些其他部分超發達。我們應該也會看到更多這種分化。

不需要一個無所不知的神諭（oracle）。你可以讓它分化，然后針對特定任務部署。而且這樣可以出現更小的模型，但仍然保留認知核心，仍然很能干，只是在特定任務上做了特化。

這樣在延遲、吞吐量上都會更高效。比如專門為Lean定理證明做優化的模型，已經有幾家在發布了。應該會出現越來越多這種解耦的場景。

主持人：我有一個問題是：當前計算基礎設施的容量限制，會不會反過來推動這種分化？因為效率變得更重要了。因為如果算力完全不限，你什么都能跑，哪怕是一個超大單模型。但如果你真切感受到：我不可能為每一個用例都開一個巨型模型。你覺得這會不會推動分化？

Karpathy：這個問題很有道理。但我現在的困惑是：我們其實還沒看到太多分化。目前還是單一模型占主導。

主持人：業界明顯有壓力，要做一個好的編程模型，然后再合并回主干。

Karpathy：盡管模型本身已經有很大壓力了。

主持人：也許現在是短期供給極度緊張，反而會造成更多分化。

Karpathy：對。我覺得本質上，實驗室在對外提供模型時，他們并不知道終端用戶會問什么。所以他們必須在所有可能的問題上進行多任務規劃。

如果你是跟某個企業深度合作、針對特定問題，那可能會出現更多特化。或者某些極高價值的細分應用。但目前他們還是在追求“包羅萬象”。

另外，操控這些“腦”的科學本身還沒完全成熟。比如在不損失通用能力的情況下做微調，同時，我們也還沒有很好的原語（primitives）。現在基本上靠上下文窗口來操控，它確實很好用、很便宜，所以我們用它做各種定制化。

但如果想更深層地調整模型，比如持續學習（continual learning）、在特定領域微調、真正動權重而不是只動上下文窗口，這要復雜得多。動權重實際上是在改變整個模型的智能，很容易出問題。所以“物種分化”的科學本身還不成熟。

主持人：而且成本也要足夠低，才值得去做。

八、AI研究“并行化”展現潛力，“散戶”也能貢獻算力

主持人：我能再問一個關于你之前提到的“自動研究”（auto research）的問題嗎？你談到過“開放地帶”（open ground），說我們需要圍繞它建立更多的協作表面，讓大家都能參與到整體研究中。你能再講講這部分嗎？

Karpathy：好的。我們之前聊到，研究本質上是一條單線程：我不斷嘗試、循環迭代。但真正有趣的部分其實是它的并行化。我嘗試過一些想法，但目前還沒有找到特別簡單、讓我特別滿意的方案，所以這只是我業余時間、在不做OpenClaw時順手搗鼓的一個方向。

一個很直接的思路是：如果你有很多并行節點，很容易就能讓多個自動研究員（auto researchers）通過一個共享系統互相討論。但我更感興趣的是，如何讓互聯網上大量不被信任的工人（untrusted pool of workers）參與進來。

舉個例子，在自動研究里，我們的目標是找到一段能把模型訓練到非常低驗證損失的代碼。如果有人從互聯網上提交一個候選commit，你很容易驗證它到底好不好——直接跑一下就知道。

但驗證本身雖然簡單，卻可能要消耗大量算力。而且對方完全可能撒謊。所以這里其實有點像我之前設計的一些系統，引入了不信任的工人池，結構上有點像區塊鏈。

這些commit可以互相建立在前面，包含代碼的改進。所謂的“工作量證明”其實就是大量實驗，找到真正有效的commit。現在的獎勵只是上排行榜，沒有任何金錢激勵。

我不想把這個類比推得太遠，但核心問題是：搜索的成本非常高，但驗證一個候選方案是否優秀卻非常便宜——你只需要訓練一次模型，看看它到底行不行。前面可能試了1萬個想法失敗了，但你只要驗證那個成功的就夠了。

簡單來說，你需要設計一套系統，讓不被信任的工人池和可信任的驗證工人協同工作，整個流程是異步的、安全的。從安全角度看，如果有人隨便發一段代碼給你，你直接跑它是非常危險的。但理論上這是完全可行的。

你應該很熟悉SETI@home（在家搜尋地外文明）、Folding@home（在家研究蛋白質折疊）這些項目，它們都有非常相似的性質：找到一個低能量蛋白質構象非常難，但一旦有人找到了，你很容易驗證它就是低的。

所以凡是符合“生成極貴、驗證極便宜”這個特性的問題，都很適合用“@home”模式，比如Folding@home、SETI@home，或者未來的“Auto Research @ home”。

一句話總結：互聯網上的一大群智能體有可能合作來改進大語言模型，甚至有可能跑贏前沿實驗室，誰知道呢？前沿實驗室擁有大量可信算力，但地球上不被信任的閑散算力總量要大得多。

如果能把機制設計好，讓安全驗證到位，也許真的有可能讓這群“散戶”貢獻算力，共同推動某些他們關心的方向。

再延伸一點，很多公司、機構、甚至個人研究方向都可以有自己的自動研究賽道。比如你特別關心某種癌癥，你不只是捐錢給機構，你還可以買一些算力，然后加入那個癌癥方向的自動研究“池子”。這樣算力就變成了一種你可以貢獻的東西，所有研究者最終都在共享、競爭、迭代這些算力成果。

主持人：這真的很振奮人心。而且很有意思的一點是，現在至少有一部分人——不管是硅谷排隊買顯卡的，還是中國商場里搶設備的——突然又覺得擁有個人算力變得有意思了。

Karpathy：對。

主持人：他們可能為了自己的OpenClaw去買算力，然后順便貢獻給自動研究。

Karpathy：現在大家都在乎美元，但未來會不會變成大家都在乎FLOP（浮點運算次數）？會不會出現一種“翻轉”——算力變成真正稀缺和主導的東西？當然我不認為會完全這樣，但這個想法挺有意思的。

九、AI是數字世界的“幽靈”，進入物理世界仍會滯后

主持人：你最近發布的好像是對一些就業數據的分析，對吧？好像還稍微觸動了一些人的神經，雖然你只是可視化了公開數據。你當時主要是好奇什么？

Karpathy：對。我就是很好奇AI對就業市場的真實影響到底會怎樣。每個人都在討論這個話題。所以我就想看看現在的職業分布是什么樣子、各個職業有多少人，然后逐個去想：以AI目前和未來可能的演化路徑，這些職業是會被AI當作工具來增強，還是會被取代？它們是會增長、萎縮，還是會發生很大變形？會不會出現全新的職業？

所以這其實主要是喂養我自己對整個行業的思考鏈條。我看的是美國勞工統計局（BLS）的數據，他們對每個職業未來十年（大概是基于2024年的預測）都有一個預期增長百分比。

主持人：我們需要很多醫療工作者。

Karpathy：對，他們已經做了這些預測。我不清楚他們的具體方法論是什么。我當時主要按“數字vs物理”來給這些職業分類。

因為我覺得目前主流發展的AI更多是數字世界的“幽靈”——它們能非常高效地操縱數字信息，但還沒有真正的物理具身。操控原子永遠比操縱比特慢很多個數量級。

所以我預期數字空間會發生爆炸式的活動、重寫、沸騰，而物理世界會相對滯后一段時間。數字領域的“神經系統”會被AI大幅升級，帶來大量原本由人和傳統計算機完成的數字信息處理工作被重構（refactoring）。而物理世界會慢半拍。

所以我特別把那些本質上就是在家里操縱數字信息的職業標出來——因為這些領域會發生劇烈變化。不是說崗位數量一定減少或增加（那取決于需求彈性等很多因素），而是說這些職業的工作內容、技能要求會發生巨大改變。這就像給人類超級有機體升級了一套新的神經系統。

主持人：從你看數據的感受來說，對于現在面臨就業市場、或者在考慮學什么、發展什么技能的人，你有什么觀察或者建議嗎？

Karpathy：這個真的很難一概而論，因為職業太多樣了，情況千差萬別。但總體來說，這些工具出現得太新、太強大了，所以第一件事就是盡量跟上它們的發展。

很多人會選擇忽視它，或者因為害怕而回避——這完全可以理解。但我覺得最重要的是保持好奇、主動去接觸和使用它們。因為它們確實是極其強大的新生產力工具。

現在AI其實就是一個非常強大的工具。很多工作本質上是一堆任務的集合，其中一部分任務可以用AI讓速度變得非常快。所以大家現在應該主要把它看成一個工具。至于長遠未來會怎樣，其實挺難預測的，我也不是專業做這方面預測的人，這應該交給經濟學家去認真研究。

十、OpenAI的研究員，正“光榮地”把自己自動化掉

主持人：你是工程師啊。我覺得有意思的一點是，現在對工程崗位的需求其實還在持續上升。我不確定這是不是暫時的現象。你怎么看？

Karpathy：對，我覺得現在軟件其實是稀缺的。正因為稀缺、太貴，所以需求才沒有爆發。如果門檻大幅降低，就會出現“杰文斯悖論”——東西變得更便宜，人員需求反而增加了。

經典例子就是ATM機和銀行柜員。很多人一度擔心ATM和電腦會把柜員徹底取代，但實際上因為銀行開支店的運營成本大幅下降，反而開了更多分行，最后柜員數量反而增加了。這是大家常引用的例子。本質就是：某樣東西變便宜了，很多之前被壓抑的需求就被釋放出來了。

所以我在軟件工程這個領域其實是謹慎樂觀的。我覺得軟件的需求會變得極大，因為它變得便宜太多了。

而且軟件本身太強大了——它是數字信息處理，你不再被迫使用那些不完美的、別人給你的工具，你也不用只能接受現成的東西。代碼現在是臨時的、可變的、可修改的。所以我認為未來會在數字世界里出現大量“重構一切”的活動，這會創造非常多的需求。

長遠來看呢，像OpenAI、Anthropic這些前沿實驗室，現在也就雇一千來個研究員吧。這些研究員某種意義上是在“光榮地”把自己自動化掉，他們其實就是在主動做這件事。

我有時候去OpenAI轉轉，就會跟他們說：你們有沒有意識到，如果我們真的成功了，我們全都要失業啊？我們就是在給Sam（OpenAI聯合創始人兼CEO Sam Altman）或者董事會造一個能取代我們的東西啊。

有些研究員自己也開始有那種“精神錯亂”的感覺，因為它真的在發生。他們會想：完了，連我也完了。

十一、在前沿AI Lab之外，跟“人類整體”立場對齊度更高

主持人：你為什么不干脆去前沿實驗室，用海量算力跟一大群同事一起做自動研究（auto research）？就像前幾天Noam Brown所問的那樣？

Karpathy：其實我之前在那里待過一段時間，也算是重新出來過。我覺得這個問題可以從很多角度看，有點復雜。

我現在感覺，在前沿實驗室之外，人們其實也能產生非常大的影響，不管是行業外還是生態層面的角色。比如你現在做的就是生態層面的工作，我目前也更多是在生態層面，我覺得這類角色能帶來的影響其實挺好的。

反過來，如果太深度綁定到某一家前沿實驗室，其實也有問題。因為你會有巨大的財務激勵，而你自己也承認AI會極大地改變人類和社會，卻在里面一邊建技術一邊從中獲利。這個難題其實從OpenAI剛創立時就存在，一直沒完全解決。

你在公司里面就不是完全自由的個體。有些話你不能說，有些話組織希望你說。雖然不會強迫你，但那種壓力是存在的——說錯話會很尷尬，會被側目，會被問“你在干嘛”。所以你在里面其實很難保持完全獨立的立場。

我在實驗室外面，反而覺得自己跟“人類整體”的立場對齊度更高，因為我幾乎不受那些壓力影響，想說什么就說什么。當然，前沿實驗室里你也能做出很大貢獻，尤其是如果你想法很強、能參與核心決策。現在整體風險還不算特別高，大家都還挺友善。

可一旦真正到高風險、利害攸關的時候，作為一個員工，你對公司最終決策到底有多大影響力，其實我是不太確定的。你可以在會議室里提想法，但你并不是真正掌舵的那個人。的確存在一些錯位。

另一方面，我也同意一個觀點：如果你完全在實驗室外面，判斷力確實會慢慢漂移。因為你接觸不到最前沿的東西，看不到模型到底是怎么工作的，未來會怎么發展。

所以從這個角度，我確實有點擔心。我覺得保持跟前沿的接觸是重要的。如果有機會去前沿實驗室干一段時間，做一些高質量工作，然后再出來，也許是個不錯的方式——既能跟上真實進展，又不至于完全被某個實體控制。

所以我覺得Noam如果在OpenAI應該也能做出非常好的工作，但他的最高影響力也許恰恰是在OpenAI外面。

理想狀態可能就是來回切換、在里面和外面都待一待。這是一個復雜的問題，我自己就是先進去，又出來，未來可能還會再進去。我大概就是這么看待這件事的。

十二、開閉源模型差距明顯收斂，AI生態需維持健康的權力平衡

主持人：開源模型到底離前沿模型有多近，這個差距會持續嗎？我覺得整個事情的發展其實挺讓人意外的。從一開始只有少數幾個中國模型和全球模型，到現在大家都在持續發布，而且能力上比很多人預想的要更接近前沿。

你長期做開源，對此怎么看？會不會覺得驚訝？

Karpathy：我大概的觀察是：閉源模型仍然領先，但大家都在盯著“開源模型落后幾個月”這個差距。一開始是完全沒得比，后來拉到18個月左右，現在已經明顯在收斂，可能現在落后6–8個月的樣子吧。

我當然是非常支持開源的。拿操作系統舉例：有封閉的Windows和macOS這樣的大型軟件項目，就像未來的大模型一樣；但同時也有Linux，它其實極其成功，跑在全球絕大多數計算機上（我記得上次看是60%還是更多）。因為行業需要一個大家覺得安全、可信的共同開放平臺。

現在大模型也是同樣的邏輯，行業其實有強烈的需求，希望有這樣一個東西存在。唯一的區別是，現在做這件事需要巨量的資本投入，這讓競爭變得更難。

但我認為現在的開源模型已經非常好用了。對于絕大多數消費級場景，甚至終端開源模型都足夠強。往前再走幾年，很多簡單用例都會被很好地覆蓋，甚至可以本地跑。

當然，永遠都會有一部分對“最前沿智能”的需求，而且這個需求可能占很大一塊市場。但也許未來的“前沿”會變成那種諾貝爾獎級別的工作，或者像把Linux從C重寫成Rust這樣的大工程。封閉的最強模型可能會主要服務這類高難度任務，而開源則會吃掉大量基礎和日常用例。

而且現在封閉實驗室的“前沿”模型，過幾個月可能就開源了，然后繼續干很多活。所以我預計這個動態會持續：前沿實驗室保持封閉的最強模型當“神諭”，開源模型落后幾個月，但差距可控。我覺得這其實是個挺不錯的整體格局。

因為我對完全封閉的智能還是有系統性風險的。歷史上看，極度中心化的東西（不管是政治、經濟還是其他系統）表現都不太好。

我希望開源就算不是最強的，但最好也只是稍微落后一點，作為整個行業都能用的共同工作空間。這樣權力平衡會比較健康。

主持人：另一方面，我也覺得有很多大問題要靠持續推進最前沿的智能才能解決。人類面臨的一些超級難題，沒法只靠今天的能力搞定，所以我們還是得支持那些愿意花大錢往前推的實驗室。

但正如你說的，今天的“前沿”如果過一陣子就開源，那本身就已經是非常大的能力釋放了。這種智能的普惠化，我覺得既實用又有益。

Karpathy：所以某種意義上，我們現在這個局面其實挺意外地還不錯，甚至可以說是個相對健康的生態。

主持人：而且只要這種動態能持續得久一點，整個生態的“面積”（累積的能力）就會越來越大。

Karpathy：不過最近閉源模型好像反而更集中了，因為很多原本跑在前面的玩家現在掉隊了，所以頭部更集中。我其實不太喜歡這個趨勢。我希望有更多前沿實驗室，越多越好。我對集中這件事就很警惕。

機器學習里ensemble（集成）總是比單個模型強，所以我也希望最難的問題是有多組人在思考、最難的決策是有多組知情的人在房間里討論，而不是關起門來兩三個人說了算。我覺得那不是好的未來。

所以長話短說：我希望會有更多的AI實驗室，開源模型能一直存在，目前稍微落后一點其實是好事。

十三、與操作“比特”相比，操作原子“難上100萬倍”

主持人：你之前做過通用機器人的前期工作，也就是自動駕駛相關的研究。最近幾個月機器人公司也加速了，很多公司在泛化能力、長時序任務上進步很大，還有很多錢涌進來。你覺得機器人真的要起來了？最近有沒有什么變化讓你改觀？

Karpathy：我的看法還是受當年自動駕駛的影響比較大。自動駕駛其實就是第一個真正落地的機器人應用。十年前那波，有一大堆初創公司，最后能活下來的其實沒幾個。

我看到的是：機器人這東西太難了，很多臟活累活，需要巨量的資本、時間和信念。“原子世界”就是要比“比特世界”難很多。所以我認為物理世界的機器人會明顯落后于數字世界。

數字世界現在就出現了巨大的“解鎖效應”——很多原本低效的東西，效率可以提升100倍。因為比特就是比原子好搞太多了。

目前最活躍、最會發生巨變的還是數字空間。然后才會慢慢到數字-物理的接口部分。

為什么會有接口？因為一旦你有了更多Agents代表人類做事、互相協作、參與“Agent經濟”，純數字的任務總有一天會做完。到那時你必須去問宇宙問題，必須做實驗，讓物理世界給你反饋，才能學到新東西。

現在數字世界還有大量“過剩工作”——人類以前根本沒足夠腦力把所有已數字化的信息都思考一遍。現在AI來了，我們會先把這些過剩的部分榨干。

但遲早會榨完。然后就開始需要跟物理世界交互的接口：傳感器（讀世界）、執行器（改世界）。所以我覺得真正有趣的公司會出現在這個接口地帶——能不能給超級智能喂數據，能不能按它的指令去操控物理世界。

而純物理世界的機會其實更大，總潛在市場（TAM）可能比純數字世界還大。但因為原子難搞太多，所以會滯后。我認為要難上100萬倍。時間線大概是先數字大爆發，然后是數字-物理接口，最后才是純物理的大規模起飛。

主持人：當然，有些物理任務其實沒那么難。比如只是在物理世界及逆行“讀寫”——讀可以用現成攝像頭、傳感器；寫可以用現成機械臂。如果你足夠聰明，不用投太多錢也能搞出很有價值的東西。

Karpathy：比如我最近去拜訪的朋友Liam，他是Periodic的CEO，他們在用AI做材料科學的自動研究。那里傳感器的成本就很高，是實驗室設備。生物學也一樣，很多人在搞生物工程，傳感器遠不止攝像頭。

還有些公司在做“付費采集訓練數據”的生意，直接把人類當傳感器給AI喂數據。

主持人：所以我覺得未來我會很期待能直接給Agent一個物理世界任務、標個價格，說“你自己想辦法搞定，去拿數據”。

Karpathy：現在居然還沒有足夠發達的“信息市場”，我覺得挺意外的。

比如Polymarket、股票市場這些，如果未來Agent參與度越來越高，為什么不能出現“我出10美元，讓人在德黑蘭某個地方拍張照或視頻”這樣的機制？拍完直接喂給Agent，讓它們去猜賭局或炒股。

我覺得“Agent化的web”還很早期，還缺很多這樣的基礎設施。但這種方向我覺得是會發生的。

有一本書可能挺有啟發，叫《惡魔》（Demon），里面智能最后有點像在操縱人類——人類既是它的傳感器，也是它的執行器。未來整個社會可能會集體重塑，去服務于機器的某種需求，而不是單純服務于彼此。

主持人：我們之前聊到訓練數據缺口、自動研究（auto research）的問題。要把人類從訓練閉環里拿掉，讓模型自己提需求、自己收集數據、自己優化，得把SFT（監督微調）這一環也高度自動化才行。

Karpathy：對，100%同意。但對于大語言模型訓練，其實這個范式特別合適。因為它有清晰的優化目標、損失函數，代碼跑得快，還有可量化的指標。

當然，如果完全閉環優化某個指標，可能會出現大量“對指標的作弊”，或者說過擬合。但可以用系統自己再發明新指標，做到更好的覆蓋。所以整體來說，語言模型訓練其實是目前最容易實現自主閉環的領域之一。

十四、人類互相教授知識的時代要結束了：先讓agent搞懂，然后讓它來教人

主持人：最后聊個你的小項目吧——micro GPT。

Karpathy：對，micro GPT是我這十幾年一直在干的一件事：把LLM盡可能地簡化、提純到最本質。

我之前做過nano GPT等等項目，現在micro GPT是我目前能做到的最極致版本——整個從頭訓練一個小型語言模型的代碼，只有200行Python（包括注釋）。

大家看到那么多復雜的訓練代碼，其實絕大部分復雜度都來自“要跑得快”。如果不在乎速度，只關心算法本身，那真的就200行，非常好讀：數據集、50行網絡結構、前向傳播、100行autograd引擎算梯度、10行Adam優化器，再加個訓練循環，就結束了。

以前我會想錄個視頻一行行講，或者寫個教程。但現在我覺得沒太大必要了。因為代碼已經簡單到隨便丟給一個agent，它就能給你各種角度解釋。

我現在更多是在跟agent解釋東西，而不是直接跟人解釋。如果agent能懂，那它就能按用戶的語言水平、無限耐心、反復講解各種方式。人類反而從agent那里能學得更好。

我甚至可以寫一個“skill”，就是告訴agent應該按什么順序、用什么方式把micro GPT講給不同水平的人。這樣我只負責設計課程的骨架，剩下的執行交給agent。

所以我覺得教育的形式正在被重塑。以前是講義、講座、文檔；現在更像是：先讓agent搞懂，然后讓它來教人。

當然現在agent還不是完全取代我——我還是能比它們講得稍微好一點。但模型進步太快了，我覺得這是一場必輸的戰斗。

所以教育可能會大幅重構，那種人類互相教授知識的時代可能快要結束了。打個比方，如果我有一個代碼庫或者其他什么項目，以前你會為使用這個庫的人寫文檔，但現在你不應該這么做了。

你不應該再寫給人看的HTML文檔，而應該寫給智能體看的markdown文檔。因為如果智能體理解了，它們就能解釋其中的各個部分。這是一種通過智能體的間接傳遞，我覺得我們會看到越來越多這樣的情況發生。

我嘗試過讓智能體來寫micro GPT。我讓它試著把神經網絡提煉成最簡單的東西，但它做不到。micro GPT是我癡迷一生研究出的結晶，就200行代碼。我思考了很久，這就是解決方案。相信我，不可能更簡單了。

這就是我的價值所在。其他所有東西，智能體都能搞定。它可能想不出來，但它完全能理解，也明白為什么要用某種方式實現。

我的貢獻大概就是這幾個關鍵部分，但之后所有的教育工作就不再是我的領域了。也許教育的模式確實會改變——你只需要注入那些你特別在意、你覺得是課程核心的少數幾個點，或是補充更好的講解方式。

那些智能體做不到的事，現在成了你的工作；而那些智能體能做的事，它們可能比你做得更好，或者很快就會比你做得更好。你應該戰略性地思考，到底把時間花在什么事情上。