黃仁勛：芯片公司的時(shí)代已經(jīng)結(jié)束了，現(xiàn)在是 AI 工廠的時(shí)代

最擅長(zhǎng)做深度訪談的 Lex Fridman 采訪黃仁勛，肯定是值得看的。

對(duì)談中，老黃聊了聊他對(duì)于現(xiàn)在整個(gè) AI 行業(yè)邏輯的理解：AI 已經(jīng)不是一種軟件功能了，更像是工業(yè)產(chǎn)品。同樣，OpenClaw 這類(lèi) Agent 不再是聊天工具，是一種持續(xù)運(yùn)行的算力消耗。

NVIDIA 不只是單純的 GPU 芯片公司，更像在建造一種新型基礎(chǔ)設(shè)施：AI 工廠。原料是電力和數(shù)據(jù)，產(chǎn)出是 Token。

每一代 GPU 就是工廠里的新產(chǎn)線，算力即產(chǎn)能。

以下是對(duì)談的精華內(nèi)容，為了方便閱讀，F(xiàn)ounder Park 進(jìn)行了微調(diào)。

TLDR：

• 每一代產(chǎn)品都必須同時(shí)推進(jìn)所有維度，從芯片到機(jī)架，從軟件到散熱，極限協(xié)同設(shè)計(jì)意味著不能有任何短板；

• 公司架構(gòu)應(yīng)該反映你想要生產(chǎn)的產(chǎn)品，而不是照搬其他公司；

• 我的直屬匯報(bào)超過(guò) 60 人，沒(méi)有組織架構(gòu)圖，沒(méi)有一對(duì)一會(huì)議，我們提出問(wèn)題，所有人一起攻克。公司一直在做極限協(xié)同設(shè)計(jì)。

• 計(jì)算正在從檢索轉(zhuǎn)向生成，從倉(cāng)庫(kù)轉(zhuǎn)向工廠。舊世界需要存儲(chǔ)，新世界需要算力，token 開(kāi)始像 iPhone 一樣細(xì)分市場(chǎng)。

• AI 訓(xùn)練的瓶頸已經(jīng)不是數(shù)據(jù)，是算力。推理的本質(zhì)是思考，但思考是困難的。

• OpenClaw 對(duì)智能體系統(tǒng)的意義，就像 ChatGPT 對(duì)生成式系統(tǒng)的意義一樣。這是一件非常重大的事情。

• 市場(chǎng)規(guī)模決定了研發(fā)能力，研發(fā)能力決定了在計(jì)算領(lǐng)域可能產(chǎn)生的影響力。專(zhuān)業(yè)化與通用化之間存在根本張力，NVIDIA 必須找到那條極窄的路；

• 計(jì)算平臺(tái)完全取決于開(kāi)發(fā)者，開(kāi)發(fā)者不會(huì)僅僅因?yàn)樗梢詧?zhí)行一些有趣的功能就來(lái)到一個(gè)計(jì)算平臺(tái)。安裝基數(shù)定義了架構(gòu)，其他一切都是次要的，NVIDIA 最重要的護(hù)城河是 CUDA 的安裝基數(shù)；

• 光速是我對(duì)物理能做什么的極限是什么的簡(jiǎn)寫(xiě)，我們做的每一件事都要與光速進(jìn)行比較，內(nèi)存速度、數(shù)學(xué)速度、功率、成本、時(shí)間、努力、人數(shù)、制造周期時(shí)間。

??關(guān)注 Founder Park，最及時(shí)最干貨的創(chuàng)業(yè)分享

超 22000 人的「AI 產(chǎn)品市集」社群！不錯(cuò)過(guò)每一款有價(jià)值的 AI 應(yīng)用。

邀請(qǐng)從業(yè)者、開(kāi)發(fā)人員和創(chuàng)業(yè)者，飛書(shū)掃碼加群：

進(jìn)群后，你有機(jī)會(huì)得到：

• 最新、最值得關(guān)注的 AI 新品資訊；
  

• 不定期贈(zèng)送熱門(mén)新品的邀請(qǐng)碼、會(huì)員碼；
  

• 最精準(zhǔn)的 AI 產(chǎn)品曝光渠道

01智能的擴(kuò)展只取決于一件事：算力

Lex：你概括了四個(gè)擴(kuò)展定律：Pre-training Scaling Law、Post-training、Test-time Scaling、Agentic Scaling Law。繼續(xù)擴(kuò)展下去，你最擔(dān)心的障礙是什么？

Jensen：我們可以回顧一下人們?cè)?jīng)認(rèn)為的障礙是什么。一開(kāi)始，我們是第一批遇到 Pre-training Scaling Law 的。人們理所當(dāng)然地認(rèn)為，我們擁有的高質(zhì)量數(shù)據(jù)將限制我們能達(dá)到的智能水平。這個(gè)擴(kuò)展定律非常重要：模型越大，對(duì)應(yīng)更多的數(shù)據(jù)，就能產(chǎn)生更智能的 AI。這就是預(yù)訓(xùn)練。

然后 Ilya Sutskever 說(shuō)了一句"我們的數(shù)據(jù)用完了"，或者類(lèi)似的話。"預(yù)訓(xùn)練結(jié)束了"，類(lèi)似這樣。整個(gè)行業(yè)陷入恐慌，認(rèn)為這是 AI 的終結(jié)。當(dāng)然，這顯然不是真的。我們會(huì)繼續(xù)擴(kuò)展用于訓(xùn)練的數(shù)據(jù)量。很多數(shù)據(jù)可能會(huì)是合成的，這也讓大家困惑。

人們沒(méi)有意識(shí)到的是，我們用來(lái)相互教學(xué)、相互告知的大部分?jǐn)?shù)據(jù)本來(lái)就是合成的。它是合成的，因?yàn)樗粊?lái)自自然。你創(chuàng)造了它。我消費(fèi)它。我修改它、增強(qiáng)它、重新生成它，別人再來(lái)消費(fèi)它。

Lex：所以合成數(shù)據(jù)本身并不是什么新事物？

Jensen：我們現(xiàn)在達(dá)到了 AI 能夠獲取基本事實(shí)、增強(qiáng)它、強(qiáng)化它、合成生成大量數(shù)據(jù)的水平。Post-training 的這一部分繼續(xù)擴(kuò)展。人類(lèi)生成的數(shù)據(jù)在訓(xùn)練中占比會(huì)越來(lái)越小，我們用于訓(xùn)練模型的數(shù)據(jù)總量將繼續(xù)增長(zhǎng)，直到我們不再受限于數(shù)據(jù)，訓(xùn)練的瓶頸變成了算力，原因正是大部分?jǐn)?shù)據(jù)是合成的。

然后是下一階段：Test-time Scaling。我還記得人們告訴我："推理？哦，那很容易。預(yù)訓(xùn)練，那才難。"他們認(rèn)為推理芯片會(huì)是小小的芯片，不像 NVIDIA 的芯片。將來(lái)推理會(huì)是最大的市場(chǎng)，而且會(huì)很容易，我們會(huì)將其商品化，人人都能造自己的芯片。

這對(duì)我來(lái)說(shuō)從來(lái)就是不合邏輯的，因?yàn)橥评砭褪撬伎迹艺J(rèn)為思考是困難的。

Lex：為什么你認(rèn)為思考比預(yù)訓(xùn)練難？

Jensen：思考比閱讀難得多。預(yù)訓(xùn)練只是記憶和泛化，在關(guān)系中尋找模式，你在不停地讀、讀、讀。而思考、推理、解決問(wèn)題，是在處理未經(jīng)探索的體驗(yàn)、新體驗(yàn)，把它們分解成可解決的部分，然后通過(guò)第一性原理推理，或者通過(guò)先前的例子、過(guò)往經(jīng)驗(yàn)，或者干脆探索、搜索、嘗試不同的事情。

Test-time Scaling 的整個(gè)過(guò)程，說(shuō)白了就是關(guān)于思考，關(guān)于推理、規(guī)劃、搜索。這怎么可能是輕量級(jí)的計(jì)算呢？我們對(duì)此的判斷是完全正確的，Test-time Scaling 是極其計(jì)算密集型的。

Lex：那超越 Test-time Scaling 之后是什么？

Jensen：顯然，我們現(xiàn)在創(chuàng)建了一個(gè)智能體，這個(gè)智能體有我們開(kāi)發(fā)的大型語(yǔ)言模型。但在測(cè)試時(shí)，這個(gè)智能體系統(tǒng)會(huì)去做研究，敲打數(shù)據(jù)庫(kù)，使用工具，而它做的最重要的事情之一是衍生出一大堆子智能體。

這意味著我們現(xiàn)在正在創(chuàng)建大型團(tuán)隊(duì)。通過(guò)雇用更多員工來(lái)擴(kuò)展 NVIDIA，比擴(kuò)展我自己容易得多。所以下一個(gè)擴(kuò)展定律是 Agentic Scaling Law，這就像 AI 的「乘法」。我們可以隨心所欲地快速衍生智能體。所以我有四個(gè) Scaling Law。

當(dāng)我們使用智能體系統(tǒng)時(shí)，它們會(huì)創(chuàng)造更多數(shù)據(jù)、更多體驗(yàn)。其中一些我們會(huì)說(shuō)："哇，這真的很好，我們應(yīng)該記住這個(gè)。"那個(gè)數(shù)據(jù)集會(huì)一路回到預(yù)訓(xùn)練。我們記憶并泛化它，然后將其精煉、微調(diào)回到后訓(xùn)練，再通過(guò)測(cè)試時(shí)計(jì)算和智能體系統(tǒng)進(jìn)一步增強(qiáng)，推向行業(yè)。這個(gè)循環(huán)會(huì)不斷持續(xù)。歸根結(jié)底，智能的擴(kuò)展取決于一件事，那就是算力。

Lex：但硬件架構(gòu)無(wú)法快速轉(zhuǎn)向，你必須提前預(yù)測(cè) AI 會(huì)往哪里走，比如混合專(zhuān)家模型，這件事實(shí)在太難了。

Jensen：這些 AI 模型架構(gòu)大約每六個(gè)月就會(huì)出現(xiàn)新的發(fā)明，而系統(tǒng)架構(gòu)和硬件架構(gòu)大約每三年一次。所以你需要預(yù)測(cè)兩三年后可能發(fā)生什么。

有幾種方法可以做到。首先，我們可以在內(nèi)部做研究，這也是我們有基礎(chǔ)研究和應(yīng)用研究的原因之一。我們自己創(chuàng)建模型，所以我們有第一手的實(shí)踐經(jīng)驗(yàn)。這就是我所說(shuō)的協(xié)同設(shè)計(jì)的一部分。另外，我們也是世界上唯一一家與全球幾乎所有 AI 公司都合作的 AI 公司。在可能的范圍內(nèi)，我們會(huì)了解人們正在遭遇什么挑戰(zhàn)。

Lex：所以你在傾聽(tīng)整個(gè)行業(yè)、各大 AI 實(shí)驗(yàn)室的竊竊私語(yǔ)。

Jensen：沒(méi)錯(cuò)。你必須傾聽(tīng)并向所有人學(xué)習(xí)。然后最后一點(diǎn)是要有一個(gè)靈活的架構(gòu)，能夠適應(yīng)并隨風(fēng)而動(dòng)。CUDA 的好處之一就是，它一方面是一個(gè)令人難以置信的加速器，另一方面又真的非常靈活。這種專(zhuān)業(yè)化與通用化之間的極致平衡，必須足夠?qū)I(yè)，否則我們無(wú)法加速 CPU；又必須足夠通用，才能適應(yīng)不斷變化的算法，這非常關(guān)鍵。這就是為什么 CUDA 一方面如此有韌性，而我們又在不斷增強(qiáng)它。我們現(xiàn)在已經(jīng)到了 CUDA 13.2，以如此快的速度演進(jìn)架構(gòu)，才能跟上現(xiàn)代算法的步伐。

舉個(gè)例子，當(dāng)混合專(zhuān)家模型出現(xiàn)時(shí)，這就是為什么我們有了 NVLink 72 而不是 NVLink 8 的原因。我們現(xiàn)在可以把一個(gè)完整的四萬(wàn)億、十萬(wàn)億參數(shù)的模型放在一個(gè)計(jì)算域中，就好像它運(yùn)行在一個(gè) GPU 上一樣。

如果你看 Grace Blackwell 機(jī)架的架構(gòu)，它完全專(zhuān)注于做一件事，處理大語(yǔ)言模型。然后一年后，你看到的是 Vera Rubin 機(jī)架：它有存儲(chǔ)加速器，有全新的 CPU Vera，有 Vera Rubin 和 NVLink 72 來(lái)運(yùn)行大語(yǔ)言模型，還有一個(gè)新的附加機(jī)架 Rock。這整個(gè)機(jī)架系統(tǒng)與之前的完全不同，多了所有這些新組件。原因是上一代是為運(yùn)行混合專(zhuān)家大語(yǔ)言模型推理而設(shè)計(jì)的，而這一代是為運(yùn)行智能體而設(shè)計(jì)的，智能體需要調(diào)用工具。

Lex：這些系統(tǒng)的設(shè)計(jì)，顯然必須在 OpenClaw 出現(xiàn)之前就完成了。你是怎么預(yù)判到這一切的？

Jensen：不，比那簡(jiǎn)單。你只需要推理。不管發(fā)生什么，在某個(gè)時(shí)刻，為了讓大語(yǔ)言模型成為一個(gè)數(shù)字工作者。假設(shè)我們希望大語(yǔ)言模型成為一個(gè)數(shù)字工作者。它必須做什么？它必須訪問(wèn)真實(shí)數(shù)據(jù)，那就是我們的文件系統(tǒng)。它必須能夠做研究，它不可能知道所有事情。我也不想等到這個(gè) AI 對(duì)過(guò)去、現(xiàn)在和未來(lái)的一切都變得普遍聰明之后才讓它有用，所以不妨讓它去做研究。顯然，如果它要幫助我，它必須使用我的工具。

有人會(huì)說(shuō)："AI 將完全摧毀軟件，我們不再需要軟件了，甚至不再需要工具了。"這太荒謬了。做個(gè)思想實(shí)驗(yàn)就能看清楚：如果我要?jiǎng)?chuàng)造未來(lái)十年能想象到的最驚人的智能體，假設(shè)是一個(gè)人形機(jī)器人。這個(gè)人形機(jī)器人，是更可能走進(jìn)我的房子、使用我現(xiàn)有的工具完成工作？還是這只手一瞬間變成 10 磅重的錘子，下一瞬間變成手術(shù)刀，為了燒水從手指射出微波？還是它更可能就是使用微波爐？

第一次走到微波爐前，它可能不知道怎么用。但沒(méi)關(guān)系，它連上了網(wǎng)，讀微波爐的說(shuō)明書(shū)，讀完立刻成為專(zhuān)家，然后就用它。

Lex：你剛才描述的其實(shí)就是 OpenClaw 的幾乎所有屬性。

Jensen：是的。它會(huì)使用工具，訪問(wèn)文件，能夠做研究，有 I/O 子系統(tǒng)。當(dāng)你用這種方式推理完之后，你會(huì)說(shuō)："天哪，對(duì)計(jì)算未來(lái)的影響是極其深遠(yuǎn)的。"原因是，我認(rèn)為我們剛剛重新發(fā)明了計(jì)算機(jī)。

如果你看我在 GTC 上使用的 OpenClaw 示意圖，你會(huì)發(fā)現(xiàn)它是兩年前的。就在兩年前的 GTC 上，我就在談?wù)撝悄荏w系統(tǒng)，它與今天的 OpenClaw 完全一致。當(dāng)然，許多事情的匯合必須先發(fā)生，我們需要 Claude、GPT 以及所有這些模型達(dá)到一定的能力水平，他們的創(chuàng)新和持續(xù)進(jìn)步至關(guān)重要。然后，必須有人創(chuàng)建一個(gè)足夠強(qiáng)大、足夠完整的開(kāi)源項(xiàng)目，讓我們所有人都能投入使用。我認(rèn)為 OpenClaw 對(duì)智能體系統(tǒng)的意義，就像ChatGPT對(duì)生成式系統(tǒng)的意義一樣。這是一件非常重大的事情。

Lex：是的，這是一個(gè)非常特殊的時(shí)刻。我不太確定為什么它吸引了如此多的世界關(guān)注，但確實(shí)如此。

Jensen：因?yàn)橄M(fèi)者可以接觸到它了。

Lex：這么強(qiáng)大的技術(shù)，安全邊界在哪里，我們還在摸索怎么找到那個(gè)平衡點(diǎn)。

Jensen：是的，我們立刻就參與進(jìn)去了，派了一批安全專(zhuān)家。我們做了一個(gè)叫 OpenShell 的東西，已經(jīng)被集成到 OpenClaw 中了。NVIDIA 還推出了 NemoClaw。

我們給你三項(xiàng)權(quán)限中的兩項(xiàng)。智能體系統(tǒng)可以訪問(wèn)敏感信息、可以執(zhí)行代碼、可以進(jìn)行外部通信。如果我們?cè)谌魏螘r(shí)候給你這三項(xiàng)能力中的兩項(xiàng)而不是全部三項(xiàng)，我們就能保持安全。在這兩項(xiàng)能力中，我們還根據(jù)企業(yè)給你的權(quán)限提供訪問(wèn)控制。然后我們將其連接到所有這些企業(yè)已有的策略引擎。所以我們將盡力幫助 OpenClaw 更好。

02計(jì)算機(jī)從存儲(chǔ)倉(cāng)庫(kù)變成了收入工廠，每一個(gè) Token 都有價(jià)值

Lex：如果 NVIDIA 有一天真的價(jià)值 10 萬(wàn)億美元，那個(gè)世界是什么樣子的？

Jensen：我認(rèn)為 NVIDIA 的增長(zhǎng)極有可能，在我看來(lái)，是不可避免的。讓我解釋為什么。我們是歷史上最大的計(jì)算機(jī)公司。僅這一點(diǎn)就應(yīng)該引出問(wèn)題，為什么？

原因當(dāng)然是兩個(gè)基礎(chǔ)技術(shù)原因。第一個(gè)原因是計(jì)算從基于檢索的文件檢索系統(tǒng)轉(zhuǎn)變了。幾乎所有東西都是文件，我們預(yù)先寫(xiě)一些東西，我們預(yù)先記錄一些東西。你知道，我們畫(huà)一些東西，我們把它放在網(wǎng)上，我們把它放在文件中。我們使用推薦系統(tǒng)，一些智能過(guò)濾器，來(lái)找出為你檢索什么。

Lex：所以從檢索到生成？

Jensen：我們從基于檢索的計(jì)算系統(tǒng)轉(zhuǎn)向了基于生成的計(jì)算系統(tǒng)。我們?cè)谶@個(gè)新世界中需要比舊世界多得多的處理。我們?cè)谂f世界需要大量存儲(chǔ)。我們?cè)谶@個(gè)新世界需要大量計(jì)算。

所以這是第一部分。我們從根本上改變了計(jì)算和計(jì)算的完成方式。唯一會(huì)導(dǎo)致它倒退的是，如果這種計(jì)算方式，這種生成上下文相關(guān)、情境感知、在生成信息之前基于新見(jiàn)解的信息的計(jì)算密集型計(jì)算方式，只有在它無(wú)效時(shí)才會(huì)倒退。

第二個(gè)想法是，計(jì)算機(jī)，因?yàn)樗且粋€(gè)存儲(chǔ)系統(tǒng)，它主要是一個(gè)倉(cāng)庫(kù)。我們現(xiàn)在正在建造工廠。倉(cāng)庫(kù)賺不了多少錢(qián)。工廠直接與公司的收入相關(guān)。

所以，計(jì)算機(jī)做了兩件事。它不僅改變了它的做法，它在世界上的目的也改變了。它不再是計(jì)算機(jī)，它是工廠。它是工廠，用于產(chǎn)生收入。

Lex：Token 作為產(chǎn)品？

Jensen：我們現(xiàn)在看到這個(gè)工廠不僅在生產(chǎn)產(chǎn)品、人們想要消費(fèi)的商品，我們看到這些商品如此有趣、如此有價(jià)值，對(duì)如此多不同的受眾來(lái)說(shuō)，Token 開(kāi)始像 iPhone 一樣細(xì)分。

你有免費(fèi) Token，你有高級(jí) Token，中間還有幾種 Token。所以事實(shí)證明，智能是一個(gè)可擴(kuò)展的產(chǎn)品。有極高智能的產(chǎn)品，用于專(zhuān)門(mén)事物的 Token，人們?cè)敢飧顿M(fèi)。有人愿意為每百萬(wàn)個(gè) Token 支付 1000 美元的想法就在眼前。這不是是否的問(wèn)題，只是何時(shí)的問(wèn)題。

Lex：用一個(gè)可能荒謬的定義來(lái)問(wèn)：能創(chuàng)辦并運(yùn)營(yíng)一家價(jià)值超 10 億美元科技公司的 AI，算 AGI 嗎？我們離這個(gè)還有多遠(yuǎn)？

Jensen：我認(rèn)為就是現(xiàn)在。我認(rèn)為我們已經(jīng)實(shí)現(xiàn)了 AGI。

Lex：你認(rèn)為一家公司真的可以由這樣的 AI 系統(tǒng)運(yùn)營(yíng)嗎？

Jensen：可能的，原因是這樣的。你說(shuō)了 10 億，但你沒(méi)說(shuō)要永遠(yuǎn)持續(xù)。比如說(shuō)，一個(gè) Claude 完全有可能創(chuàng)建一個(gè)網(wǎng)絡(luò)服務(wù)，某個(gè)有趣的小應(yīng)用，突然之間幾十億人用了，每人付 50 美分，然后不久后它又倒閉了。我們?cè)诨ヂ?lián)網(wǎng)時(shí)代看到過(guò)很多這樣的公司，大多數(shù)那些網(wǎng)站并不比今天 OpenClaw 能生成的更復(fù)雜。

Lex：實(shí)現(xiàn)病毒式傳播并將其貨幣化。

Jensen：是的，這正在發(fā)生。當(dāng)你去中國(guó)時(shí)，你會(huì)看到很多人在教他們的 OpenClaw 去找工作、做事、賺錢(qián)。我不會(huì)驚訝如果有人創(chuàng)造了一個(gè)數(shù)字網(wǎng)紅，超級(jí)可愛(ài)，或者某個(gè)社交應(yīng)用，比如喂你的小電子寵物之類(lèi)的，然后突然爆紅。很多人用幾個(gè)月然后就消失了。但是，10 萬(wàn)個(gè)這樣的 Agent 建造 NVIDIA 的概率是零。

Lex：但這讓很多人興奮，想著"我可以啟動(dòng)一個(gè) Agent 然后賺很多錢(qián)"。

Jensen：我想確保大家都明白的一點(diǎn)是，人們真的很擔(dān)心他們的工作。我想提醒他們，你工作的目的和你用來(lái)做工作的任務(wù)和工具是相關(guān)的，但不是一回事。我做我的工作已經(jīng) 33 年了，我是世界上任期最長(zhǎng)的科技 CEO，34 年。在過(guò)去 34 年里，我用來(lái)做工作的工具一直在不斷變化，有時(shí)在幾年內(nèi)變化相當(dāng)劇烈。

Lex：你能舉個(gè)例子嗎？

Jensen：計(jì)算機(jī)科學(xué)家和 AI 研究人員說(shuō)的第一個(gè)要消失的工作是放射科醫(yī)生。因?yàn)橛?jì)算機(jī)視覺(jué)將達(dá)到超人水平，而且確實(shí)做到了。計(jì)算機(jī)視覺(jué)在 2019、2020 年左右就已經(jīng)是超人水平了。所以預(yù)測(cè)是放射科醫(yī)生會(huì)消失，因?yàn)檠芯糠派鋻呙鑼⒊蔀檫^(guò)去，AI 會(huì)做這個(gè)。

Lex：但結(jié)果呢？

Jensen：他們絕對(duì)是對(duì)的。計(jì)算機(jī)視覺(jué)完全是超人水平的。今天每個(gè)放射學(xué)平臺(tái)和軟件包都由 AI 驅(qū)動(dòng)，然而放射科醫(yī)生的數(shù)量卻增長(zhǎng)了。問(wèn)題是為什么？我們現(xiàn)在世界上放射科醫(yī)生短缺。警告過(guò)頭了，嚇跑了人們從事這個(gè)對(duì)社會(huì)如此重要的職業(yè)。

Lex：為什么預(yù)測(cè)錯(cuò)了？

Jensen：因?yàn)榉派淇漆t(yī)生的目的是診斷疾病，幫助患者和醫(yī)生診斷疾病。因?yàn)槲覀儸F(xiàn)在能夠如此快速地研究掃描，你可以研究更多掃描，診斷得更好，可以更快地服務(wù)患者，可以看更多人。醫(yī)院賺更多錢(qián)，醫(yī)院有更多患者，需要更多放射科醫(yī)生。這是如此明顯會(huì)發(fā)生的事情。

Lex：你認(rèn)為編程人員的數(shù)量可能會(huì)增加而不是減少嗎？

Jensen：是的。原因是這樣的。編碼的定義是什么？我認(rèn)為今天編碼的定義就是規(guī)范說(shuō)明，也許如果你想更直接一點(diǎn)，你甚至可以給它一個(gè)你想要編寫(xiě)的軟件的架構(gòu)。所以問(wèn)題是，有多少人能做到這一點(diǎn)？描述一個(gè)規(guī)范讓計(jì)算機(jī)去構(gòu)建。多少人？我認(rèn)為我們剛從 3000 萬(wàn)增加到可能 10 億。

Lex：所以每個(gè)職業(yè)都會(huì)被提升？

Jensen：未來(lái)每個(gè)木匠都將是一個(gè)編碼員，只不過(guò)有 AI 的木匠也是一個(gè)建筑師。他們剛剛大大提高了可以為客戶(hù)提供的價(jià)值。他們的藝術(shù)性剛剛得到了巨大的提升。我相信每個(gè)會(huì)計(jì)師也是你的財(cái)務(wù)分析師，也是你的財(cái)務(wù)顧問(wèn)。所有這些職業(yè)都剛剛被提升了。如果我是木匠，我看到 AI，我會(huì)完全瘋狂的。如果我是水管工，也會(huì)完全瘋狂。

Lex：對(duì)于目前的程序員和軟件工程師呢？

Jensen：我認(rèn)為他們處于理解如何使用自然語(yǔ)言與 Agent 溝通以設(shè)計(jì)最佳軟件的前沿。隨著時(shí)間的推移，他們會(huì)融合，但我仍然認(rèn)為學(xué)習(xí)編程有價(jià)值，學(xué)習(xí)什么是編程語(yǔ)言，什么是編程語(yǔ)言的良好實(shí)踐，什么是大型軟件系統(tǒng)的編程語(yǔ)言設(shè)計(jì)原則。

Lex：為什么學(xué)編程仍然重要？

Jensen：編寫(xiě)規(guī)范就是編碼。所以你可能會(huì)決定相當(dāng)規(guī)范，因?yàn)槟阍趯ふ乙粋€(gè)非常具體的結(jié)果。你可能會(huì)決定這是一個(gè)你想要更具探索性的領(lǐng)域，所以你可能會(huì)規(guī)定不足，讓你能夠與 AI 來(lái)回交流，甚至推動(dòng)你自己的創(chuàng)造力邊界。這種在光譜中的位置的藝術(shù)性，這就是編碼的未來(lái)。

Lex：回到 AGI 的問(wèn)題，你說(shuō)"我認(rèn)為就是現(xiàn)在，我認(rèn)為我們已經(jīng)實(shí)現(xiàn)了 AGI"。這是一個(gè)相當(dāng)大膽的聲明。你能詳細(xì)解釋一下嗎？

Jensen：讓我們從根本上分解什么是智能。智能這個(gè)詞，我們一直在使用，它不是一個(gè)神秘的詞。智能有含義，它是一個(gè)包括感知、理解、推理和計(jì)劃能力的系統(tǒng)，這個(gè)循環(huán)就是智能。智能不是一個(gè)完全等同于人性的詞。

Lex：所以你在區(qū)分智能和人性？

Jensen：我認(rèn)為這真的很重要。我們有兩個(gè)詞。我不會(huì)過(guò)度幻想，也不會(huì)過(guò)度浪漫化智能。實(shí)際上我認(rèn)為智能是一種商品。我被聰明人包圍著。我被比我更聰明的人包圍著，在他們各自的領(lǐng)域。然而，我在那個(gè)圈子里有一個(gè)角色。這實(shí)際上很有趣。

Lex：你是說(shuō)盡管被更聰明的人包圍，你仍然能協(xié)調(diào)他們？

Jensen：他們比我受過(guò)更好的教育。他們上了比我更好的學(xué)校。他們?cè)诟髯缘念I(lǐng)域都比我更深入。我有 60 個(gè)這樣的人。他們對(duì)我來(lái)說(shuō)都是超人。不知何故，我坐在中間協(xié)調(diào)所有 60 個(gè)人。所以你得問(wèn)自己，一個(gè)洗碗工怎么能坐在超人中間？這說(shuō)得通嗎？

Lex：所以智能不是一切？

Jensen：我的觀點(diǎn)是智能是一個(gè)功能性的東西。人性不是功能性地定義的。它是一個(gè)更大得多的詞。我們的生活經(jīng)歷、我們對(duì)痛苦的忍耐、我們的決心，這些都是與智能不同的詞。

Lex：那么什么才是真正重要的？

Jensen：我們真正應(yīng)該提升的詞是人性。品格、人性、同情心、慷慨。所有你剛才說(shuō)的這些東西，我相信這些是超人的力量。現(xiàn)在智能將被商品化。不幸的是，我們的社會(huì)把一切都放進(jìn)了一個(gè)詞里，而生活不止一個(gè)詞。

Lex：所以當(dāng)智能被民主化和商品化時(shí)，不要讓它引起你的焦慮？

Jensen：我的生活表明，在智能曲線上比我周?chē)拿總€(gè)人都低，并不會(huì)改變我是最成功的這個(gè)事實(shí)。我試圖希望激勵(lì)其他所有人，不要讓智能的民主化、商品化引起你的焦慮。你應(yīng)該受到它的啟發(fā)。

03極限協(xié)同設(shè)計(jì)，
每一代產(chǎn)品都必須同時(shí)推進(jìn)所有維度

Lex：NVIDIA 已經(jīng)從做最好的GPU，擴(kuò)展到了整個(gè)系統(tǒng)的極限協(xié)同設(shè)計(jì)——GPU、CPU、內(nèi)存、網(wǎng)絡(luò)、散熱、機(jī)架，甚至整個(gè)數(shù)據(jù)中心。協(xié)同設(shè)計(jì)這么復(fù)雜的系統(tǒng)，最難的部分是什么？

Jensen：首先，極限協(xié)同設(shè)計(jì)之所以必要，是因?yàn)閱?wèn)題已經(jīng)無(wú)法裝進(jìn)一臺(tái)計(jì)算機(jī)里由一個(gè)GPU來(lái)加速了。你想要解決的問(wèn)題是，你添加了比如說(shuō) 10,000 臺(tái)計(jì)算機(jī)，但你希望速度提升一百萬(wàn)倍。

突然之間，你必須分解算法，你必須重構(gòu)它，你必須分片管道（shard the pipeline），必須分片數(shù)據(jù)，必須分片模型。當(dāng)你以這種方式分布問(wèn)題時(shí)，不僅僅是擴(kuò)展問(wèn)題規(guī)模，而是在分布問(wèn)題本身，那么一切都會(huì)成為障礙。

Lex：這就是阿姆達(dá)爾定律（Amdahl's Law）的問(wèn)題吧？

Jensen：沒(méi)錯(cuò)。阿姆達(dá)爾定律告訴我們，你能獲得的加速取決于這部分占總工作量的比例。如果計(jì)算只占問(wèn)題的 50%，即使我把計(jì)算加速無(wú)限倍，比如一百萬(wàn)倍，我也只能把總工作量加速兩倍。

現(xiàn)在突然之間，你不僅要分布計(jì)算，還要以某種方式分片管道。你還必須解決網(wǎng)絡(luò)問(wèn)題，因?yàn)樗羞@些計(jì)算機(jī)都連接在一起。所以在我們這種規(guī)模的分布式計(jì)算中，CPU 是問(wèn)題，GPU是問(wèn)題，網(wǎng)絡(luò)是問(wèn)題，交換是問(wèn)題。在所有這些計(jì)算機(jī)之間分配工作負(fù)載也是問(wèn)題。這就是一個(gè)極其復(fù)雜的計(jì)算機(jī)科學(xué)問(wèn)題。所以我們必須調(diào)動(dòng)每一項(xiàng)技術(shù)。

Lex：你在每個(gè)領(lǐng)域都有世界級(jí)專(zhuān)家，內(nèi)存、網(wǎng)絡(luò)、光學(xué)、散熱……這些學(xué)科差異極大，你怎么讓他們坐在一起協(xié)同解決問(wèn)題？

Jensen：這就是為什么我的直屬團(tuán)隊(duì)如此龐大。

Lex：當(dāng)你知道要把這一切塞進(jìn)一個(gè)機(jī)架時(shí)，專(zhuān)家和通才具體是怎么協(xié)作的？

Jensen：有三個(gè)問(wèn)題。第一個(gè)問(wèn)題是：什么是極限協(xié)同設(shè)計(jì)？我們?cè)谡麄€(gè)軟件棧上進(jìn)行優(yōu)化，從架構(gòu)到芯片，到系統(tǒng)，到系統(tǒng)軟件，到算法，到應(yīng)用程序。這是一層。

第二件事超越了 CPU 和 GPU、網(wǎng)絡(luò)芯片、擴(kuò)展交換機(jī)和橫向擴(kuò)展交換機(jī)。當(dāng)然，你還必須包括電源和散熱，因?yàn)樗羞@些計(jì)算機(jī)都極其耗電。它們做大量工作，能源效率很高，但總體上仍然消耗大量電力。

第三個(gè)問(wèn)題是，你如何做到這一點(diǎn)？這有點(diǎn)像這家公司的奇跡。當(dāng)你設(shè)計(jì)計(jì)算機(jī)時(shí)，你需要有計(jì)算機(jī)的操作系統(tǒng)。當(dāng)你設(shè)計(jì)公司時(shí)，你應(yīng)該首先考慮你希望公司生產(chǎn)什么。

Lex：詳細(xì)說(shuō)說(shuō)嗎？

Jensen：我看到很多公司的組織架構(gòu)圖，它們看起來(lái)都一樣。漢堡公司的組織架構(gòu)圖、軟件公司的組織架構(gòu)圖、汽車(chē)公司的組織架構(gòu)圖，它們看起來(lái)都一樣。這對(duì)我來(lái)說(shuō)毫無(wú)意義。

公司的目標(biāo)應(yīng)該是成為生產(chǎn)產(chǎn)品的機(jī)器、機(jī)制和系統(tǒng)。那個(gè)產(chǎn)出就是我們想要?jiǎng)?chuàng)造的產(chǎn)品。公司的架構(gòu)設(shè)計(jì)應(yīng)該反映它所處的環(huán)境，這幾乎間接告訴你應(yīng)該如何組織。

我的直屬團(tuán)隊(duì)有 60 個(gè)人。我不和他們做一對(duì)一會(huì)議，因?yàn)槟鞘遣豢赡艿摹Ｈ绻愕膱F(tuán)隊(duì)有 60 個(gè)人，還要做一對(duì)一，你就無(wú)法完成工作。

Lex：所以你有 60 個(gè)人直接匯報(bào)？而且大多數(shù)至少在工程方面有涉足？

Jensen：幾乎所有人都是。有內(nèi)存專(zhuān)家，有 CPU 專(zhuān)家，有光學(xué)專(zhuān)家。GPU、架構(gòu)、算法、設(shè)計(jì)……

Lex：太不可思議了。所以你一直在關(guān)注整個(gè)技術(shù)棧，并且在進(jìn)行關(guān)于整個(gè)棧設(shè)計(jì)的深入討論？

Jensen：沒(méi)有任何對(duì)話是一個(gè)人的事。這就是為什么我不做一對(duì)一會(huì)議。我們提出一個(gè)問(wèn)題，然后所有人一起攻克它。因?yàn)槲覀冊(cè)谧鰳O限協(xié)同設(shè)計(jì)。從字面上講，公司一直在做極限協(xié)同設(shè)計(jì)。

Lex：所以即使你在討論特定組件，比如散熱、網(wǎng)絡(luò)，每個(gè)人都在聽(tīng)？

Jensen：沒(méi)錯(cuò)。

Lex：他們可以貢獻(xiàn)意見(jiàn)，"這對(duì)電源分配不起作用，這對(duì)內(nèi)存不起作用"？

Jensen：正是如此。誰(shuí)想退出就退出。團(tuán)隊(duì)里的人知道什么時(shí)候該注意。如果有他們本可以貢獻(xiàn)但沒(méi)有貢獻(xiàn)的東西，我會(huì)叫他們出來(lái)。"嘿，來(lái)吧，參與進(jìn)來(lái)。"

Lex：NVIDIA 是一家適應(yīng)環(huán)境的公司。NVIDIA 從游戲GPU一路適應(yīng)到深度學(xué)習(xí)，再到現(xiàn)在的 AI 工廠。這個(gè)轉(zhuǎn)變是從什么時(shí)候開(kāi)始的？

Jensen：我可以系統(tǒng)地推理這個(gè)過(guò)程。我們最初是一家加速器公司。但加速器的問(wèn)題是應(yīng)用領(lǐng)域太狹窄。它的好處是對(duì)特定工作進(jìn)行了難以置信的優(yōu)化。任何專(zhuān)家都有這個(gè)好處。

但高度專(zhuān)業(yè)化的問(wèn)題是，當(dāng)然，你的市場(chǎng)覆蓋面更窄，但這甚至都還好。問(wèn)題是，市場(chǎng)規(guī)模也決定了你的研發(fā)能力。而你的研發(fā)能力最終決定了你在計(jì)算領(lǐng)域可能產(chǎn)生的影響力。

所以，當(dāng)我們最初作為加速器，非常特定的加速器時(shí)，我們始終知道那將是我們的第一步。我們必須找到一種方法成為加速計(jì)算公司。但問(wèn)題是，當(dāng)你成為一家計(jì)算公司時(shí)，它太通用了，會(huì)削弱你的專(zhuān)業(yè)化。

我連接了兩個(gè)實(shí)際上存在根本張力的詞。我們?cè)匠蔀楦玫挠?jì)算公司，作為專(zhuān)家就越糟糕。越專(zhuān)業(yè)化，我們做整體計(jì)算的能力就越少。我故意把這兩個(gè)詞連在一起，公司必須找到那條非常狹窄的道路，一步一步地?cái)U(kuò)大我們的計(jì)算孔徑，但不放棄我們擁有的最重要的專(zhuān)業(yè)化。

Lex：這種組織結(jié)構(gòu)如何幫助極限協(xié)同設(shè)計(jì)？

Jensen：我們把需要不同專(zhuān)業(yè)知識(shí)的人聚在一起。比如內(nèi)存專(zhuān)家、CPU 專(zhuān)家、光學(xué)專(zhuān)家、GPU 專(zhuān)家、架構(gòu)師、算法專(zhuān)家、設(shè)計(jì)師，所有人都在同一個(gè)房間里。

當(dāng)我們討論一個(gè)問(wèn)題時(shí)，所有相關(guān)的人都在場(chǎng)。這不是串行的決策過(guò)程，而是并行的。散熱專(zhuān)家可能會(huì)對(duì)網(wǎng)絡(luò)設(shè)計(jì)提出意見(jiàn)，網(wǎng)絡(luò)專(zhuān)家可能會(huì)對(duì)內(nèi)存架構(gòu)有想法。這種交叉授粉是極限協(xié)同設(shè)計(jì)的核心。

Lex：這與傳統(tǒng)的層級(jí)組織結(jié)構(gòu)完全不同。

Jensen：完全不同。我們沒(méi)有組織架構(gòu)圖。我們的組織反映了我們想要構(gòu)建的產(chǎn)品，一個(gè)高度集成、相互依賴(lài)的系統(tǒng)。就像我們的產(chǎn)品需要所有組件協(xié)同工作一樣，我們的團(tuán)隊(duì)也需要這樣工作。

這也是為什么我花大量時(shí)間在團(tuán)隊(duì)面前推理。每次會(huì)議都是推理會(huì)議。我在公司內(nèi)外的每一刻都在盡快向人們傳遞知識(shí)。我學(xué)到的任何東西都不會(huì)在我桌上停留超過(guò)幾分之一秒。"天哪，這太酷了。"在我自己還沒(méi)完全學(xué)完之前，我已經(jīng)在指給別人看了。"快看這個(gè)。這太酷了。你會(huì)想要學(xué)習(xí)這個(gè)的。"

04安裝基數(shù)定義架構(gòu)其他都是次要的

Lex：能說(shuō)說(shuō)把 CUDA 放在 GeForce 上的決定嗎？明明負(fù)擔(dān)不起，為什么還是選擇這么做？

Jensen：那是第一個(gè)接近生存威脅的戰(zhàn)略決定。我們發(fā)明了 CUDA，它擴(kuò)大了我們可以用加速器加速的應(yīng)用范圍。問(wèn)題是，我們?nèi)绾挝_(kāi)發(fā)者使用 CUDA？因?yàn)橛?jì)算平臺(tái)完全取決于開(kāi)發(fā)者。

開(kāi)發(fā)者不會(huì)僅僅因?yàn)樗梢詧?zhí)行一些有趣的功能就來(lái)到一個(gè)計(jì)算平臺(tái)，他們來(lái)到計(jì)算平臺(tái)是因?yàn)榘惭b基數(shù)很大。因?yàn)殚_(kāi)發(fā)者像其他人一樣，希望開(kāi)發(fā)能觸及很多人的軟件。所以安裝基數(shù)實(shí)際上是架構(gòu)最重要的部分。

Lex：安裝基數(shù)就是一切。

Jensen：安裝基數(shù)定義了架構(gòu)，其他一切都是次要的。到那個(gè)時(shí)候，GeForce 已經(jīng)很成功了。我們每年銷(xiāo)售數(shù)百萬(wàn)個(gè) GeForce GPU，我們說(shuō)，"我們應(yīng)該把 CUDA 放在 GeForce 上，把它放進(jìn)每臺(tái) PC 里，不管客戶(hù)是否使用它，并以此作為培養(yǎng)安裝基數(shù)的起點(diǎn)。"

問(wèn)題是 CUDA 大大增加了那個(gè) GPU 的成本，這是一個(gè)消費(fèi)產(chǎn)品，它完全消耗了公司所有的毛利潤(rùn)。當(dāng)時(shí)公司大概價(jià)值 80 億美元左右。在我們推出 CUDA 后，我意識(shí)到它會(huì)增加這么多成本，但這是我們相信的東西。我們的市值降到了大約 15 億美元。我們?cè)谀抢锎艘欢螘r(shí)間，然后慢慢爬回來(lái)，但我們?cè)?GeForce 上保留了 CUDA。

我總是說(shuō)，NVIDIA 是 GeForce 建造的房子，因?yàn)槭?GeForce 把 CUDA 帶給了每個(gè)人。

Lex：那個(gè)生存時(shí)刻，你還記得嗎？?jī)?nèi)部的討論是什么樣的？

Jensen：我必須向董事會(huì)說(shuō)明我們?cè)趪L試做什么，管理團(tuán)隊(duì)知道我們的毛利率會(huì)被壓垮。你可以想象一個(gè)世界，GeForce 承擔(dān) CUDA 的負(fù)擔(dān)，而游戲玩家都不會(huì)欣賞它，也不會(huì)為此付費(fèi)。

我們的成本增加了 50%，而我們是一家 35% 毛利率的公司，所以這是一個(gè)相當(dāng)困難的決定。但你可以想象有一天這會(huì)進(jìn)入工作站和超級(jí)計(jì)算機(jī)，在那些細(xì)分市場(chǎng)，也許我們可以獲得更多利潤(rùn)。但這仍然花了十年時(shí)間。

Lex：NVIDIA 現(xiàn)在是世界上最有價(jià)值的公司。我必須問(wèn)，NVIDIA 最大的護(hù)城河是什么？

Jensen：我們作為一家公司最重要的財(cái)產(chǎn)是我們計(jì)算平臺(tái)的安裝基數(shù)。我們今天最重要的東西是 CUDA 的安裝基數(shù)。

20 年前，當(dāng)然沒(méi)有安裝基數(shù)。但如果現(xiàn)在有人想出一個(gè) GUDA 或 TUDA，根本不會(huì)有任何區(qū)別。原因是這從來(lái)不只是關(guān)于技術(shù)。技術(shù)當(dāng)然是令人難以置信的有遠(yuǎn)見(jiàn)的。但事實(shí)是公司致力于此，堅(jiān)持下去，擴(kuò)大了它的覆蓋范圍。

不是三個(gè)人讓 CUDA 成功，是 43,000 人讓 CUDA 成功。還有幾百萬(wàn)相信我們的開(kāi)發(fā)者，相信我們會(huì)繼續(xù)開(kāi)發(fā) CUDA 1、2、3、13，他們決定在上面移植和專(zhuān)注他們的軟件，他們?cè)谏厦娴拇罅寇浖?/p>

所以安裝基數(shù)是第一重要的優(yōu)勢(shì)。當(dāng)你用我們執(zhí)行的速度放大這個(gè)安裝基數(shù)，在我們談?wù)摰囊?guī)模上，歷史上沒(méi)有任何公司建造過(guò)這種復(fù)雜性的系統(tǒng)。每年建造一次是不可能的。

Lex：這種速度和安裝基數(shù)的結(jié)合產(chǎn)生了什么效果？

Jensen：從開(kāi)發(fā)者的角度來(lái)看，如果我支持 CUDA，明天它會(huì)好 10 倍。我只需要平均等待六個(gè)月。不僅如此，如果我在 CUDA 上開(kāi)發(fā)，我能觸及幾億人、計(jì)算機(jī)。我在每個(gè)云中，我在每個(gè)計(jì)算機(jī)公司，我在每個(gè)行業(yè)，我在每個(gè)國(guó)家。

所以如果我創(chuàng)建一個(gè)開(kāi)源包并首先把它放在 CUDA 上，我同時(shí)獲得這兩個(gè)屬性。不僅如此，我 100% 相信 NVIDIA 會(huì)保留 CUDA 并維護(hù)它、改進(jìn)它，只要他們還活著就會(huì)繼續(xù)優(yōu)化庫(kù)。你可以把這個(gè)存入銀行，最后一部分，信任。

Lex：這種信任是如何建立的？

Jensen：把所有這些放在一起，如果我今天是一個(gè)開(kāi)發(fā)者，我會(huì)首先瞄準(zhǔn) CUDA。我會(huì)最多地瞄準(zhǔn) CUDA。這就是我認(rèn)為最終分析中我們的第一個(gè)核心優(yōu)勢(shì)。

我們的第二個(gè)是我們的生態(tài)系統(tǒng)。我們垂直集成了這個(gè)極其復(fù)雜的系統(tǒng)，但我們將它水平集成到每一家公司的計(jì)算機(jī)中。

Lex：具體來(lái)說(shuō)呢？

Jensen：我們?cè)?Google Cloud，我們?cè)?Amazon，我們?cè)?Azure。我們現(xiàn)在正在瘋狂地?cái)U(kuò)大 AWS。我們?cè)谙?CoreWeave 和 Nscale 這樣的新公司。我們?cè)?Lilly 的超級(jí)計(jì)算機(jī)中。我們?cè)谄髽I(yè)計(jì)算機(jī)中。我們?cè)谶吘壍臒o(wú)線基站中。這太瘋狂了，一個(gè)架構(gòu)在所有這些不同的系統(tǒng)中。

我們?cè)谄?chē)中，我們?cè)跈C(jī)器人中，我們?cè)谛l(wèi)星中，我們?cè)谔罩小Ｋ阅阌羞@一個(gè)架構(gòu)，生態(tài)系統(tǒng)如此廣泛，它基本上涵蓋了世界上的每一個(gè)行業(yè)。

Lex：CUDA 安裝基數(shù)如何演變成未來(lái)的 AI 工廠作為護(hù)城河？你認(rèn)為未來(lái)的 NVIDIA 可能完全是關(guān)于 AI 工廠嗎？

Jensen：計(jì)算單元對(duì)我們來(lái)說(shuō)曾經(jīng)是GPU，然后它變成了一臺(tái)計(jì)算機(jī)，然后變成了一個(gè)集群。現(xiàn)在是整個(gè) AI 工廠。

當(dāng)我看到一臺(tái)計(jì)算機(jī)，當(dāng)我看到 NVIDIA 構(gòu)建的東西時(shí)，在過(guò)去，我會(huì)可視化芯片。然后當(dāng)我宣布新產(chǎn)品、新一代時(shí)，比如"女士們先生們，我們今天宣布 Ampere"，我會(huì)拿起芯片。那是我的心智模型。

Lex：但現(xiàn)在不同了？

Jensen：今天，拿起芯片仍然很可愛(ài)。但它很可愛(ài)。這不是我在做什么的心智模型。我的心智模型是這個(gè)巨大的吉瓦級(jí)的東西，它有連接到電網(wǎng)的發(fā)電裝置。它有難以置信的巨大的冷卻系統(tǒng)和網(wǎng)絡(luò)。

10,000 人在那里試圖安裝它，數(shù)百名網(wǎng)絡(luò)工程師在那里，數(shù)千名工程師在后面試圖給它供電。你知道，啟動(dòng)這些工廠之一，如你所知，不是某人說(shuō)"現(xiàn)在開(kāi)了"。需要數(shù)千人來(lái)啟動(dòng)它。

05當(dāng)你設(shè)計(jì)一家公司時(shí)，首先要考慮你希望公司生產(chǎn)什么

Lex：你高度贊揚(yáng)了 Elon 和 xAI 在孟菲斯的成就，Elon 四個(gè)月在孟菲斯建成了 Colossus，現(xiàn)在已經(jīng)有 20 萬(wàn)個(gè)GPU。他的工程方法里，是什么讓這件事成為可能？

Jensen：首先，Elon 在許多不同的主題上都很深入。但他也是一個(gè)真正優(yōu)秀的系統(tǒng)思考者。所以他能夠跨多個(gè)學(xué)科思考，而且他顯然會(huì)推動(dòng)事情，質(zhì)疑一切。

第一，這是必要的嗎？第二，必須這樣做嗎？然后，必須花這么長(zhǎng)時(shí)間嗎？他有能力質(zhì)疑一切，直到一切都減少到必要的最小量，你不能再拿走任何東西。然而產(chǎn)品的必要能力仍然存在。他是你能想象到的最極簡(jiǎn)主義者，而且他在系統(tǒng)規(guī)模上做到這一點(diǎn)。

Lex：他具體是怎么做的？

Jensen：我也喜歡他出現(xiàn)在行動(dòng)點(diǎn)的事實(shí)。如果有問(wèn)題，他會(huì)直接去那里。"給我看看問(wèn)題。"當(dāng)你把所有這些結(jié)合起來(lái)時(shí)，你就克服了很多以前的"這就是我們的做法"、"我在等他們"之類(lèi)的借口。每個(gè)人都有很多借口。

然后最后一點(diǎn)是，當(dāng)你個(gè)人表現(xiàn)出如此緊迫感時(shí)，它會(huì)讓其他人也產(chǎn)生緊迫感。每個(gè)供應(yīng)商都有很多客戶(hù)，每個(gè)供應(yīng)商都有很多項(xiàng)目在進(jìn)行，而他讓自己成為其他人所有項(xiàng)目的最高優(yōu)先級(jí)。他通過(guò)展示這一點(diǎn)來(lái)做到這一點(diǎn)。

Lex：是的，我參加過(guò)很多那樣的會(huì)議。看起來(lái)很有趣，因?yàn)檎娴模瑳](méi)有足夠的人問(wèn)這樣的問(wèn)題："好吧，這能做得快很多嗎？怎么做？為什么必須花這么長(zhǎng)時(shí)間？"

Jensen：對(duì)。而且這往往變成一個(gè)工程問(wèn)題。我記得有一次和他在一起時(shí)，他真的在經(jīng)歷將電纜插入機(jī)架的整個(gè)過(guò)程。他正在與一位在地面上執(zhí)行該任務(wù)的工程師合作，他只是試圖了解這個(gè)過(guò)程是什么樣的，以便減少錯(cuò)誤。

從組裝數(shù)據(jù)中心涉及的每項(xiàng)任務(wù)中建立直覺(jué)，你立即開(kāi)始在詳細(xì)尺度和廣泛系統(tǒng)尺度上感知到效率低下的地方，因此你可以使其越來(lái)越高效。另外，你還有能夠說(shuō)"讓我們完全不同地做"的大錘。

Lex：在 NVIDIA 極限系統(tǒng)協(xié)同設(shè)計(jì)方法中，你是否看到了 Elon 處理系統(tǒng)工程的方式的相似之處？

Jensen：首先，協(xié)同設(shè)計(jì)是終極的系統(tǒng)工程問(wèn)題。我們從這個(gè)角度來(lái)處理我們的工作。

我做的另一件事，這是一種哲學(xué)、思想、心態(tài)，我想是一種方法，我 30 年前就開(kāi)始了，它叫做光速（speed of light）。

Lex：能詳細(xì)解釋一下"光速"哲學(xué)嗎？

Jensen：光速不僅僅是關(guān)于速度。光速是我對(duì)"物理能做什么的極限是什么"的簡(jiǎn)寫(xiě)。我們做的每一件事都要與光速進(jìn)行比較，內(nèi)存速度、數(shù)學(xué)速度、功率、成本、時(shí)間、努力、人數(shù)、制造周期時(shí)間。

當(dāng)你考慮延遲與吞吐量、成本與吞吐量、成本與容量時(shí)，所有這些東西，你都要針對(duì)光速進(jìn)行測(cè)試，以分別實(shí)現(xiàn)所有這些不同的約束。然后當(dāng)你把它們放在一起考慮時(shí)，你知道必須做出妥協(xié)，因?yàn)閷?shí)現(xiàn)極低延遲的系統(tǒng)與實(shí)現(xiàn)非常高吞吐量的系統(tǒng)在架構(gòu)上是根本不同的。

但你想知道實(shí)現(xiàn)高吞吐量的系統(tǒng)的光速是什么，實(shí)現(xiàn)低延遲的系統(tǒng)的光速是什么。然后當(dāng)你考慮整個(gè)系統(tǒng)時(shí)，你可以做出權(quán)衡。

Lex：這與持續(xù)改進(jìn)的方法有什么不同？

Jensen：我不喜歡其他方法，就是持續(xù)改進(jìn)。持續(xù)改進(jìn)的問(wèn)題是，首先，你應(yīng)該從第一性原理設(shè)計(jì)一些東西，用光速思維。

只受物理極限的限制。在那之后，當(dāng)然你會(huì)隨著時(shí)間的推移改進(jìn)它。但我不喜歡進(jìn)入一個(gè)問(wèn)題時(shí)有人說(shuō)，"嘿，今天做這件事需要 74 天，我們可以為你在 72 天內(nèi)完成。"

我寧愿把一切都剝離回零，然后說(shuō)，"首先，向我解釋為什么是 74 天。讓我們想想今天什么是可能的。如果我要從頭開(kāi)始完全構(gòu)建它，需要多長(zhǎng)時(shí)間？" 通常，你會(huì)驚訝地發(fā)現(xiàn)可能只需要 6 天。

現(xiàn)在，從 6 天到 74 天的其余部分，可能都有很好的理由和妥協(xié)，成本降低，以及各種不同的事情。但至少你知道它們是什么。現(xiàn)在你知道 6 天是可能的，那么從 74 天到 6 天的對(duì)話就會(huì)有效得多。

Lex：Vera Rubin pod 有 7 種芯片類(lèi)型、40 個(gè)機(jī)架、近 2 萬(wàn)個(gè) NVIDIA 芯片……復(fù)雜到這種程度，簡(jiǎn)單性還是你在設(shè)計(jì)時(shí)追求的目標(biāo)嗎？

Jensen：那只是一個(gè) pod。我們可能每周要生產(chǎn)大約 200 個(gè)這樣的 pod，只是讓你有個(gè)概念。

Lex：有這么多不同的組件，我想簡(jiǎn)單性是不可能的，但這是你在設(shè)計(jì)時(shí)努力達(dá)到的指標(biāo)嗎？

Jensen：我最常用的短語(yǔ)是，我們需要事物盡可能復(fù)雜，但盡可能簡(jiǎn)單。所以問(wèn)題是，所有那些復(fù)雜性都是必要的嗎？我們應(yīng)該測(cè)試這一點(diǎn)。我們必須挑戰(zhàn)這一點(diǎn)。然后在那之后，其他一切都是多余的。

Lex：這仍然幾乎令人難以置信。半導(dǎo)體行業(yè)廣泛來(lái)說(shuō)，但 NVIDIA 正在做的，是歷史上最偉大的工程之一。這些系統(tǒng)真的是工程奇跡。

Jensen：這是世界上制造過(guò)的最復(fù)雜的計(jì)算機(jī)。當(dāng)你設(shè)計(jì)一家公司時(shí)，你應(yīng)該首先考慮你希望公司生產(chǎn)什么。公司的目標(biāo)是成為生產(chǎn)輸出的機(jī)械、機(jī)制和系統(tǒng)。那個(gè)輸出就是我們喜歡創(chuàng)造的產(chǎn)品。

06開(kāi)源就是最快的創(chuàng)新放大器，中國(guó)比任何人都懂這一點(diǎn)

Lex：中國(guó)在過(guò)去十年建立了這么多世界級(jí)的科技公司和工程團(tuán)隊(duì)。你怎么理解這件事是怎么發(fā)生的？

Jensen：有很多原因。首先，讓我們從一些事實(shí)開(kāi)始。全世界 50% 的 AI 研究者是中國(guó)人，大概是這個(gè)比例，而且他們大多數(shù)仍在中國(guó)。我們這里有很多中國(guó)研究者，但中國(guó)仍有非常優(yōu)秀的研究者。

他們的技術(shù)產(chǎn)業(yè)恰好在正確的時(shí)間出現(xiàn)。在移動(dòng)云時(shí)代，他們的貢獻(xiàn)方式是軟件，所以這是一個(gè)在科學(xué)和數(shù)學(xué)方面非常出色的國(guó)家。孩子們受過(guò)良好教育。他們的技術(shù)產(chǎn)業(yè)是在軟件時(shí)代創(chuàng)建的。他們對(duì)現(xiàn)代軟件非常熟悉。

他們還有一種社會(huì)文化，家庭第一，朋友第二，公司第三。因此，他們之間的交流量非常大。他們本質(zhì)上一直都是開(kāi)源的。所以他們更多地貢獻(xiàn)給開(kāi)源是非常合理的，因?yàn)樗麄儠?huì)想，"我們?cè)诒Ｗo(hù)什么？"你知道，我的工程師，他們的兄弟在那家公司，他們的朋友在那家公司，他們都是校友。

Lex：所以知識(shí)共享是文化的一部分？

Jensen：校友的概念。有一個(gè)校友，你就是終身兄弟。所以他們分享知識(shí)非常、非常快。因此沒(méi)有必要隱藏技術(shù)。你還不如把它放在開(kāi)源上。所以開(kāi)源社區(qū)就會(huì)放大、加速創(chuàng)新過(guò)程。

你得到的是快速的、令人難以置信的優(yōu)秀人才，由于開(kāi)源和朋友的本質(zhì)而產(chǎn)生的快速創(chuàng)新，以及公司之間的瘋狂競(jìng)爭(zhēng)。出現(xiàn)的是令人難以置信的東西。所以這是當(dāng)今世界上創(chuàng)新速度最快的國(guó)家。

Lex：而且從文化上來(lái)說(shuō)，在中國(guó)做工程師是很酷的事情。聊聊開(kāi)源，你提到了 DeepSeek 和 MiniMax 這些公司真的在推動(dòng)開(kāi)源 AI。NVIDIA 也在發(fā)布接近最先進(jìn)水平的開(kāi)源LLM。你對(duì)開(kāi)源的愿景是什么？

Jensen：首先，如果我們要成為一家偉大的 AI 計(jì)算公司，我們必須了解 AI 模型是如何演進(jìn)的。我喜歡 Nemotron 3 的一點(diǎn)是，它不只是一個(gè)純 transformer 模型，它是 transformer 和 SSM 的結(jié)合。我們很早就開(kāi)發(fā)了條件 GAN，這些漸進(jìn)式 GAN 一步步導(dǎo)向了擴(kuò)散模型。

所以，我們?cè)谀Ｐ图軜?gòu)和不同領(lǐng)域進(jìn)行基礎(chǔ)研究這一事實(shí)，讓我們能夠看到什么樣的計(jì)算系統(tǒng)會(huì)適合未來(lái)的模型。這是我們極限協(xié)同設(shè)計(jì)策略的一部分。

其次，我認(rèn)為我們正確地認(rèn)識(shí)到，一方面，我們想要世界級(jí)的模型作為產(chǎn)品，它們應(yīng)該是專(zhuān)有的。另一方面，我們也希望 AI 擴(kuò)散到每個(gè)行業(yè)、每個(gè)國(guó)家、每個(gè)研究者、每個(gè)學(xué)生。如果一切都是專(zhuān)有的，就很難進(jìn)行研究，很難在上面、圍繞它、與它一起創(chuàng)新。

所以開(kāi)源對(duì)于許多行業(yè)加入 AI 革命是根本必要的。NVIDIA 有規(guī)模，我們有動(dòng)機(jī)不僅有技能、規(guī)模和動(dòng)力來(lái)建立并繼續(xù)建立這些 AI 模型，只要我們還活著。

第三個(gè)原因是認(rèn)識(shí)到AI 不僅僅是語(yǔ)言。這些 AI 可能會(huì)使用在其他信息模態(tài)上訓(xùn)練的工具、模型和子 Agent。也許是生物學(xué)或化學(xué)，或者物理定律，或者流體和熱力學(xué)，并非所有這些都是語(yǔ)言結(jié)構(gòu)。

所以必須有人去確保天氣預(yù)測(cè)、生物學(xué) AI、物理 AI，所有這些東西都能被推到極限和前沿。

Lex：這對(duì)不同行業(yè)意味著什么？

Jensen：我們不制造汽車(chē)，但我們想確保每家汽車(chē)公司都能獲得優(yōu)秀的模型。我們不發(fā)現(xiàn)藥物，但我想確保禮來(lái)公司擁有世界上最好的生物學(xué) AI 系統(tǒng)，這樣他們就可以用它來(lái)發(fā)現(xiàn)藥物。

所以這三個(gè)基本原因，既認(rèn)識(shí)到 AI 不僅僅是語(yǔ)言，AI 真的很廣泛，我們想讓每個(gè)人都參與到 AI 世界中，然后還有 AI 的協(xié)同設(shè)計(jì)。

Lex：我必須說(shuō)，再次感謝你們開(kāi)源，真正開(kāi)源 Nemotron 3。

Jensen：是的，我很感激你這么說(shuō)。我們開(kāi)源了模型，我們開(kāi)源了權(quán)重，我們開(kāi)源了數(shù)據(jù)，我們開(kāi)源了我們?nèi)绾蝿?chuàng)建它。是的，這非常了不起。

轉(zhuǎn)載原創(chuàng)文章請(qǐng)?zhí)砑游⑿牛篺ounderparker