黃仁勛都被問毛了：頂級AI廠商在去CUDA？“你的前提就是錯的”

魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

接近兩個小時，正面回答關于英偉達一路在大模型時代漲到4萬億美元市值的種種問題。

黃仁勛在“硅谷最受歡迎播客”的全新訪談，信息量有點高。

視頻發(fā)布半天，單在油管上的觀看量已經(jīng)超過10萬+。

網(wǎng)友還銳評：很少看到黃仁勛這么激動。

太長不看版，重點筆記放在這里了：

• 輸入是電子，輸出是Token，在這中間是英偉達。
• AI不會使軟件變得廉價、同質化，Agent的普及會快速提高工具部署率，帶來更高速的增長。
• TPU對英偉達沒有威脅。英偉達GPU讓新算法的發(fā)明變得容易。
• 英偉達沒有更早投資OpenAI等，是“認知有誤”，也是“無可奈何”。
• 英偉達的哲學是“必須做的事，但越少越好”。
• 英偉達從不做加錢就先給GPU的事。
• 即使沒有深度學習，英偉達依然會專注加速計算。

更多細節(jié)，萬字實錄在此奉上（內含老黃激烈反駁）。

英偉達的護城河

（播客主持人Dwarkesh Patel提問以下簡寫為Q）

Q：軟件公司正在經(jīng)歷估值暴跌，因為人們認為AI會使得軟件變得廉價。一個可能顯得天真的觀點是：英偉達從根本上是在做軟件，而制造由其他人完成。如果軟件變得廉價，英偉達會不會也失去護城河？

黃仁勛：歸根結底，必須有某種東西將電子轉化為Token。

這種從電子到Token的轉化，以及時間讓Token變得更有價值的過程，是很難變得同質、廉價的。

從電子到Token的旅程是如此不可思議。讓一個Token比另一個更有價值，其中投入的藝術、工程、科學和發(fā)明是顯而易見的。我們正在實時見證這一過程，而其中所涉及的一切還遠未完全被理解，這一旅程遠未結束。我其實對你所說的假設是否會發(fā)生持懷疑態(tài)度。

當然，我們會讓這一過程更高效。你提問的方式正好是英偉達運營的精神模式：輸入是電子，輸出是Token。在這之間就是英偉達。

我們的工作是付出必要的努力，同時盡可能少地干預，以實現(xiàn)這種轉化能力的最大化。所謂“盡可能少地干預”，意味著不是必須要我們做的事，我們就交給合作伙伴，讓其成為生態(tài)系統(tǒng)的一部分。

今天的英偉達擁有最大的合作伙伴生態(tài)系統(tǒng)，包括上下游供應鏈、所有的計算機公司、應用開發(fā)者和模型制造者。

可以把AI看作一個五層蛋糕，我們的生態(tài)系統(tǒng)覆蓋了每一層。我們盡可能做更少的事，但事實證明，我們不得不做的那部分難度異常巨大。我不認為這個部分會變得同質化。

實際上，我也不認為軟件公司、工具開發(fā)者會失去護城河……如今大多數(shù)軟件公司都是工具開發(fā)者。例如，Excel是工具，PowerPoint是工具，Cadence制造工具，Synopsys也制造工具。我和大家的看法正好相反，我認為Agent的數(shù)量將會呈指數(shù)增長，工具的用戶數(shù)量也會呈指數(shù)增長。這些工具部署數(shù)量很可能會激增。

今天，我們受限于工程師的數(shù)量。但未來，會有大量Agent來支持工程師，以前所未見的方式去探索設計空間，而今天我們所使用的工具并不會被拋棄。

我認為工具的普及會使軟件公司飛速增長。之所以還沒有完全發(fā)生，是因為Agent在使用這些工具時還不夠高效。要么這些公司自己會構建Agent，要么Agent會進化到能夠高效使用這些工具。我認為兩者會結合在一起。

Q：在你們最近的申報文件中，英偉達在代工廠、內存和封裝等方面的采購承諾接近1000億美元。SemiAnalysis說你們的相關采購承諾實際上達到2500億美元。

有一種解釋是，英偉達的護城河其實在于你們提前鎖定了這些稀缺組件的供應鏈。這是否是英偉達接下來幾年間最大的護城河？

黃仁勛：這是我們能做到但別人很難做的事情。

我們在上游做了巨大的承諾。有些承諾是顯性的，比如您提到的這些采購合同。而有些承諾則是隱性的，例如很多上游的投資是由我們的供應鏈合作伙伴推動的，因為我會對這些廠商的CEO說：“讓我來告訴你這個行業(yè)規(guī)模會有多大，讓我向你解釋原因，讓我跟你一起推演，并展示我所看到的?！?/p>

通過這種方式，我不斷地向不同領域上游產(chǎn)業(yè)的CEO們傳遞信息、激勵他們并與他們達成一致。這樣一來，他們愿意進行投資。為什么他們愿意為我投資，而不是其他人？因為他們知道，我有能力承接他們的供應，并通過我的下游銷售出去。

事實是，英偉達的下游供應鏈以及需求規(guī)模非常龐大，他們愿意為此投資。

如果你參加過GTC，你會對它的規(guī)模和與會者數(shù)量感到驚訝。那是一個完整的360度全景，匯聚了人工智能的整個宇宙。大家聚在一起，因為他們需要彼此了解。我把他們聚集在一起，讓下游能夠見到上游，讓上游能夠見到下游，同時大家還可以看到人工智能的最新進展。最重要的是，他們還可以見到那些人工智能原生公司和初創(chuàng)企業(yè)，并親眼目睹我告訴他們的一切。我把大量時間用于向我們的供應鏈、合作伙伴和生態(tài)系統(tǒng)直接或間接地傳遞有關未來機會的信息。

有人總是說：“黃仁勛，你的大多數(shù)主題演講就是一個接一個的發(fā)布?！笔聦嵣希?strong>我的演講中總有一部分很“折磨人”，幾乎像在上課。我是故意的，我需要確保我們的整個供應鏈——無論是上游還是下游——都了解正在發(fā)生的變化，理解這些變化為什么會發(fā)生、何時發(fā)生以及規(guī)模多大，并能像我一樣系統(tǒng)性地推理出來。

回到護城河的問題，我們正為未來做準備——如果未來幾年我們的業(yè)務規(guī)模達到一萬億美元，我們的供應鏈已經(jīng)為此做好了準備。如果沒有我們的市場覆蓋率和業(yè)務驅動力……正如現(xiàn)金流有其流通性一樣，供應鏈也存在其流動性。如果沒有足夠頻繁的業(yè)務流動性，就沒有人會愿意建立供應鏈來支持架構上的擴展。我們能夠承受這么大的規(guī)模擴展，是因為我們下游的需求非常龐大。而大家已經(jīng)親眼見證了這一點。這使我們能夠以現(xiàn)在的規(guī)模去完成我們所做的一切。

Q：我想更具體地了解上游是否能夠跟上需求。過去的幾年中，你們的年收入不斷翻倍，你們向全球提供的浮點運算能力（flops）增長更是超過了三倍。

黃仁勛：在現(xiàn)在這種規(guī)模下做到收入翻倍確實令人難以置信。

Q：確實如此。但當我們談到邏輯芯片時，你們是臺積電N3節(jié)點的最大客戶，同時也是N2節(jié)點的主要客戶之一。據(jù)SemiAnalysis預測，今年AI將占N3產(chǎn)能的60%，而明年將達到86%。在這種情況下，如果你們已經(jīng)占據(jù)了多數(shù)產(chǎn)能，怎么繼續(xù)實現(xiàn)翻倍增長？現(xiàn)在是不是處于這樣一種狀態(tài)：AI算力的增長率必須因為上游而放緩？你們是否看到了繞開這個問題的方法？我們如何讓晶圓廠的產(chǎn)能每年增長1倍？

黃仁勛：從某種程度上來說，瞬時需求已經(jīng)超過了全球上游和下游的供應總量。在任何時刻，我們都可能被“水管工”的數(shù)量所限制，這確實會發(fā)生。

Q：那明年的GTC大會應該邀請水管工們來參會（笑）。

黃仁勛：這個主意不錯（笑）。但擁有超越行業(yè)供應能力的需求是好事。顯然，情況相反的話就不妙了。如果供應和需求之間的差距過大，行業(yè)會迅速向缺口聚合。例如，你會發(fā)現(xiàn)，現(xiàn)在幾乎沒人再談論CoWoS封裝技術了。

Q：為什么？

黃仁勛：原因在于過去兩年行業(yè)已經(jīng)對此進行了大量投資，其規(guī)模甚至翻倍增長了幾次。目前我們在這方面處于相當不錯的狀態(tài)。臺積電現(xiàn)在知道，CoWoS的供應能力必須跟上邏輯芯片和內存的需求。他們正在把CoWoS和未來的封裝技術擴展到和邏輯芯片同步發(fā)展的水平。這非常棒，因為曾經(jīng)一段時間里，CoWoS和HBM內存技術還被視為一種“特種技術”。但現(xiàn)在它們已經(jīng)成為主流計算技術。

當然，現(xiàn)在我們能夠更廣泛地影響供應鏈。AI革命的早期，我就已經(jīng)在說我現(xiàn)在說的很多話了。當時，有些人相信并為此進行了投資，比如美光的桑杰（Sanjay）和他的團隊。我對那次會議印象非常深刻，我清晰地闡明了為什么事情會這樣發(fā)生以及對未來的預測。而他們真的加倍投入了，與我們在LPDDR和HBM內存領域建立了合作。這無疑為他們公司帶來了巨大的發(fā)展。有一些人來的稍晚，但現(xiàn)在他們也都到場了。

我們對每一個瓶頸問題都給予了極大的關注?，F(xiàn)在我們在提前幾年預判這些瓶頸。例如，過去幾年內我們與Lumentum、Coherent以及硅光子生態(tài)系統(tǒng)的合作投資，確實重塑了供應鏈。我們圍繞著臺積電建立了完整的供應鏈，在COUPE項目上與他們合作，發(fā)明了一堆新技術，并將專利授權給供應鏈以保持其開放性。

我們通過新技術、新工作流程、新檢測設備以及投資，來幫助合作伙伴擴展產(chǎn)能。你可以看到，我們正試圖通過生態(tài)系統(tǒng)的建構，確保供應鏈能夠支持這種規(guī)模化的發(fā)展。

Q：看起來有些瓶頸比其他的更容易解決。將CoWoS擴展到更大規(guī)?？赡芟鄬θ菀住?/p>

黃仁勛：順便說一下，我挑了最難的一個例子。

Q：哪個？

黃仁勛：管道工和電工。

這也是我對某些“末日論者”感到擔憂的一點，這些人總是在描述工作被終結，崗位將消失的問題。如果我們勸人們不要做軟件工程師，那我們將會面臨軟件工程師短缺的問題。

同樣，十年前也有人做過類似的預測，那時一些悲觀主義者說：“無論你做什么，都不要成為放射科醫(yī)生?！蹦悻F(xiàn)在可能還能在網(wǎng)上找到那些說放射科醫(yī)生這個職業(yè)會首先消失的視頻。但現(xiàn)在發(fā)生了什么？我們恰恰缺少放射科醫(yī)生。

Q：回到之前關于某些瓶頸更容易解決的問題。如何每年制造2倍的邏輯芯片？邏輯芯片和內存芯片的擴展受到極紫外光刻（EUV）的限制。如何做到每年2倍增長？

黃仁勛：這是可以快速擴展的。這些都不難，只需要需求信號。一旦你能夠造一個，就可以造十個，接著就可以造一百萬個。所有這些都很容易復制。

Q：你們會介入多深？會去和ASML溝通嗎，告訴他們：“看看三年后的需求吧。為了讓英偉達每年實現(xiàn)2萬億美元的營收，我們需要更多EUV光刻機。”

黃仁勛：有些我得直接開口，有些則是間接實現(xiàn)的。比如我說服了臺積電，ASML自然會被說服。關鍵是我們必須考慮關鍵瓶頸。但只要臺積電被說服了，幾年內你就會看到足夠的EUV設備。

我的觀點是，沒有哪個瓶頸會持續(xù)超過兩三年。

與此同時，我們在提升計算效率方面也在取得巨大進步。例如，Hopper到Blackwell架構的效率提升達到30-50倍。因為CUDA的靈活性，我們能夠開發(fā)出全新的算法。此外，我們在提高計算效率的同時也在增加產(chǎn)能。這些問題對我來說都沒有那么值得擔心。真正帶來風險的是下游問題，比如限制能源擴展的政策。沒有能源，你不可能建立一個工業(yè)；沒有能源，你不可能建立一家新的制造企業(yè)。

我們要重塑美國的工業(yè)。我們希望帶回芯片制造、計算機制造和封裝工藝；我們希望建造新的東西，比如電動車、機器人；我們希望建造AI工廠。但你無法在沒有能源的情況下完成這些，并且這些問題都需要很長時間去解決。相比之下，芯片產(chǎn)能的問題只需要2-3年即可解決。CoWoS產(chǎn)能擴展也是2-3年的事。

Q：很有趣。我覺得我邀請的嘉賓有時會表達完全相反的觀點。在這種情況下，我欠缺技術知識來判斷。

黃仁勛：好消息是你現(xiàn)在在和一位專家交談（笑）。

TPU沒有威脅，英偉達在“重新定義計算方式”

Q：我有一個關于競爭對手的問題。世界上排名前三的AI模型中有兩個——Claude和Gemini，都是在TPU上訓練的。這對英偉達未來意味著什么？

黃仁勛：我們構建的東西與TPU非常不同。

英偉達構建的是加速計算（Accelerated Computing），而不是僅僅一個張量處理單元（TPU）。

加速計算可以用于各種用途：分子動力學、量子色動力學、數(shù)據(jù)處理、數(shù)據(jù)框架、結構化數(shù)據(jù)和非結構化數(shù)據(jù)。它還用于流體動力學和粒子物理學。此外，我們也用它進行AI計算。

加速計算更加多樣化。盡管今天大家都在談論AI，并且AI的確非常重要且具有深遠影響，但計算的范圍遠比這更廣泛。

英偉達重新定義了計算的方式，從通用計算過渡到加速計算。我們的市場覆蓋范圍遠遠大于任何TPU或ASIC（應用專用集成電路）能夠達到的水平。我們是唯一一家能夠加速各種應用的公司。我們擁有一個龐大的生態(tài)系統(tǒng)，所以各種框架和算法都能在英偉達的平臺上運行。

另外，大多數(shù)自建系統(tǒng)都不是為方便他人操作而設計的。我們的系統(tǒng)之所以無處不在，包括在Google、Amazon、Azure和OCI（Oracle云基礎設施）上，是因為任何人都可以使用我們的系統(tǒng)進行操作。

如果你想通過租賃方式運營這些計算能力，你最好有大規(guī)模的、多行業(yè)的客戶生態(tài)系統(tǒng)來消化這些資源。如果你想自用，我們顯然也可以幫助你操作這些計算系統(tǒng)，比如我們?yōu)镋lon Musk的xAI提供支持。而由于我們能夠支持任何公司和任何行業(yè)的運營商，你可以將它用于打造專門用于科學研究和藥物發(fā)現(xiàn)的超級計算機，比如Eli Lilly。我們可以幫助他們操作自己的超級計算機，用來加速藥物發(fā)現(xiàn)和生物科學的整個多樣化流程。

有大量應用場景是TPU無法覆蓋的。英偉達把CUDA打造成一個出色的張量處理單元，但它也能處理數(shù)據(jù)處理、計算、AI等的整個生命周期。我們的市場機會更廣，覆蓋面更大。因為我們支持世界上所有類型的應用，你可以在任何地方建立英偉達系統(tǒng)，并確信它會有客戶需求。這是一個完全不同的概念。

Q：接下來是一個長問題。你們的營收非常驚人，而這些錢并不是來自制藥或者量子計算領域。之所以能有每季度600億美元的收入，是因為AI是一種史無前例的技術，其增長速度也同樣前所未有。

所以問題是，對于人工智能而言，究竟什么才是最合適的選擇？我對細節(jié)不熟，但和我的AI研究員朋友交流時，他們說：“看看TPU吧，它是一個大型的行列式陣列，非常適合執(zhí)行矩陣乘法，而GPU則非常靈活。GPU在有大量分支或非規(guī)則內存訪問時表現(xiàn)優(yōu)異?！?/p>

但AI本質是什么？它只是一次又一次地進行可預測的矩陣乘法。你不需要為warp調度器或線程和內存組之間的切換浪費任何芯片面積。而TPU確實針對當下AI計算的主要增長需求和用例進行了優(yōu)化。我想知道你對此有何回應。

黃仁勛：矩陣乘法確實是AI的重要部分，但它并不是全部。如果你想開發(fā)一種新的注意力機制，以不同方式解耦，或者發(fā)明一種全新的架構，比如混合SSM（狀態(tài)空間模型），你就需要一個通用可編程的架構。如果你想構建一個融合擴散模型和自回歸模型，你也需要一個通用可編程的架構。我們可以運行你能想象到的一切。這是我們的優(yōu)勢：我們的架構讓新算法的發(fā)明變得容易，因為它是一個可編程的系統(tǒng)。

發(fā)明新算法的能力正是推動AI快速進步的真正原因。像TPU這樣的設備同樣受到摩爾定律的限制，增速約為每年25%。而唯一能實現(xiàn)10倍或100倍躍升的方法，就是從根本上改變算法和計算方式。

這是英偉達的核心優(yōu)勢。我們之所以能實現(xiàn)從Hopper到Blackwell 50倍的性能改進……當我第一次宣布Blackwell比Hopper的能效高出35倍時，沒有人相信。后來Dylan寫了一篇文章指出我其實“故意保守”了，實際是50倍。這根本不可能僅僅依賴摩爾定律來實現(xiàn)。我們解決這個問題的方法是通過新模型，比如MoE，在計算系統(tǒng)中并行化、解耦并分布式實現(xiàn)。沒有CUDA的支持，要開發(fā)這樣的新內核幾乎是不可能的。

我們的優(yōu)勢在于，英偉達的架構具備編程靈活性，同時我們也是一家極具協(xié)同設計能力的公司。我們甚至可以將一些計算卸載到計算架構中，比如NVLink；或者集成到網(wǎng)絡中，比如Spectrum-X。我們能夠同時影響處理器、系統(tǒng)、架構、庫和算法的各個環(huán)節(jié)。如果沒有CUDA，我甚至不知道該從哪開始開發(fā)。

Q：這涉及到一個有趣的問題，即關于英偉達客戶群的特點。目前，你們60%的收入來源于五大超級云服務商。在一個不同的時代，面對不同的客戶——比如做實驗的教授們，他們需要的是CUDA。他們無法使用其他加速器，只需要運行配備CUDA的PyTorch，并確保一切都可以順利被優(yōu)化。

但這些超級云服務商有足夠的資源來編寫自己的內核。實際上，為了獲取他們特定架構所需的最后那5%的性能，他們必須這樣做。Anthropic和Google已經(jīng)轉向他們自己的加速器，比如TPUs和Trainium。即使是使用英偉達GPU的OpenAI，也開發(fā)了像Triton這樣的工具，因為他們需要自己的內核。從CUDA C++到cuBLAS和NCCL，他們擁有一個完整的獨立棧，并且能夠編譯到其他加速器上。

在大多數(shù)客戶可以并實際在構建CUDA替代品的情況下，CUDA是否仍然是讓前沿AI領域依然選擇英偉達的關鍵？

黃仁勛：CUDA是一個豐富的生態(tài)系統(tǒng)。如果你想在任何計算機上開發(fā)軟件，首先選擇CUDA絕對是聰明的選擇。因為生態(tài)系統(tǒng)如此豐富，我們支持每一個開發(fā)框架。如果你想創(chuàng)建自定義內核…… 比如我們對Triton有巨大貢獻。Triton的后端包含了大量英偉達的技術。

我們非常樂意幫助每個框架變得盡善盡美。市面上有很多很多框架，比如Triton、vLLM、SGLang，以及更多新興的強化學習框架，比如verl和NeMo RL。關于后訓練和強化學習，這片領域正在快速爆發(fā)式增長。所以如果要在一個架構上構建，基于CUDA是最明智的選擇，因為你知道這個生態(tài)系統(tǒng)是強大且靠譜的。

你會知道如果出了問題，大概率是在你的代碼中，而不是在底層那一大堆代碼里。別忘了，當你在構建這些系統(tǒng)時，要面對的代碼量是巨大的。當某些東西無法工作時，是你出問題了，還是計算機有問題？你會希望始終是你出錯了，并且相信計算機的健壯性。當然，我們自己的系統(tǒng)也有問題，但它已經(jīng)過深度的優(yōu)化，你至少可以在這個可靠的基礎上構建。這是第一點：生態(tài)系統(tǒng)的豐富性、可編程性和能力。

其次，如果你是一個開發(fā)人員，在構建任何東西時，最重要的事情就是安裝基礎。你希望自己開發(fā)的軟件能運行在很多其他計算機上。你開發(fā)的軟件不僅僅是為自己構建的，還要給自己的團隊甚至其他團隊使用。如果你是一位框架開發(fā)者，英偉達的CUDA生態(tài)系統(tǒng)就是一個無價的硬件與軟件寶庫。

世界上部署了數(shù)億英偉達GPU，每個云平臺上都有它。A10、A100、H100、H200，各種L系列及P系列設備，種類繁多，形態(tài)各異。我們基本上無處不在。這種龐大的安裝基礎意味著，一旦開發(fā)完成，你的軟件或模型就能在世界上任何地方運行，這種價值是不可估量的。

最后，我們在云平臺上的普及率也讓我們真正獨一無二。如果你是AI公司或開發(fā)人員，不確定將與哪家云服務供應商合作，或者不確定在何處運行系統(tǒng)，英偉達的系統(tǒng)可以覆蓋所有地方——包括直接在你們公司內部運行。這種生態(tài)系統(tǒng)的豐富性、安裝基礎的廣泛性，加之靈活的部署模式，使得CUDA不可替代。

Q：這確實有道理。我感興趣的是，這些優(yōu)勢對你們主要的客戶來說是否依然顯得那么重要。對于大部分產(chǎn)業(yè)中的用戶，這可能非常重要。但對于實際上能夠構建自己軟件棧的客戶——這類客戶占你們收入的大頭，尤其在一個AI越來越強大的世界里……問題最終變成了：如果超大規(guī)模的企業(yè)都能編寫自己的內核，而不是依賴CUDA，英偉達還能否維持目前的利潤率？

黃仁勛：我們公司分配在這些AI實驗室里的工程師數(shù)量是驚人的。

我們?yōu)樗麄兂掷m(xù)優(yōu)化他們的軟件棧，原因在于沒有人比我們更了解自己架構的復雜性與細節(jié)。

這些架構不像CPU那么“通用”。CPU就像一輛凱迪拉克，運行平穩(wěn)，性能沒有極端起伏，任何人都能很好地駕駛它。但英偉達的GPU和加速器更像一級方程式賽車。我可以想象每個人都能夠以100英里/小時的速度駕駛這些GPU，但要真正跑出極限，就需要極高的專業(yè)知識。我們也使用大量AI來優(yōu)化我們現(xiàn)有的內核庫。

我很確定在未來很長一段時間內，我們的專業(yè)知識對于合作的AI實驗室來說依然不可或缺。我們經(jīng)常能夠讓他們的軟件棧優(yōu)化再優(yōu)化，使性能提升1至2倍。有時優(yōu)化一個特定內核，性能能直接提升2倍或3倍。這種提升對于運行大量Hopper或Blackwell設備的客戶來說是非常重要的，因為它們直接增加整個設施的效率，相應地提高客戶的收入。

毫無疑問，英偉達的計算軟件棧在性能總擁有成本（TCO）方面是世界上最優(yōu)的。沒有任何單個平臺可以提供比我們更高的性能-TCO比例?；鶞蕼y試就在那里，我鼓勵TPU或Trainium使用InferenceMAX、MLPerf來展示他們所謂驚人的推理成本優(yōu)勢，但沒人愿意出來展示。從第一性原理來說，這根本不合理。

我認為我們之所以如此成功，原因很簡單：我們的總擁有成本（TCO）非常出色。

其次，你提到我們60%的客戶來自五大云計算公司，但是其中大部分業(yè)務其實是面向外部客戶的。

他們之所以選擇我們，是因為我們擁有強大的客群覆蓋能力。我們能為他們帶來全球最出色的客戶。這些客戶選擇英偉達，是因為我們特有的廣泛覆蓋與多功能性。

我認為飛輪效應來自幾個方面：我們的安裝基礎，我們架構的可編程性，我們生態(tài)系統(tǒng)的豐富性，以及大量AI公司的存在。

現(xiàn)在有成千上萬家AI公司。如果你是這些AI初創(chuàng)公司之一，你會選擇哪種架構？你會選擇全球最普及的架構——那就是我們。你還會選擇擁有最龐大安裝基礎的架構——那也是我們。還有一個擁有豐富生態(tài)系統(tǒng)的架構——這也是英偉達獨有的優(yōu)勢。

所以，這就是飛輪所在。我們成功的核心原因包括：

第一，性能與成本的優(yōu)勢。我們的每美元性能非常出色，客戶的成本最低。

第二，能效優(yōu)勢：我們的每瓦性能是全球最高的。如果一家公司建造了一個1GW的數(shù)據(jù)中心，這個數(shù)據(jù)中心必須能夠帶來最大化的收益和盡可能多Tokens，這直接轉化為收入。而我們擁有全球每瓦Token最多的架構。

最后，如果你的目標是出租基礎設施，我們擁有全球最多的客戶。

Q：有趣。我認為問題的關鍵在于市場結構到底是什么樣的。也許會存在這樣一個世界，有成千上萬家AI公司，它們的計算量份額大致相等。但從五大云服務商的角度看，實際上使用這些計算資源的是Anthropic、OpenAI，以及有能力自己構建各種加速器的大型基礎模型實驗室。

黃仁勛：不，我認為你的假設是錯誤的。

Q： 也許吧，但讓我問你一個稍微不同的問題。

黃仁勛：不，讓我糾正你的假設。

Q：好。讓我換個問題問你。

黃仁勛：但仍要保證讓我糾正這個假設。因為這對AI太重要了，對科學的未來太重要了，對行業(yè)的未來也太重要了。這個假設……聽我說——

Q： 讓我先完成問題，然后我們可以一起探討這個話題。

黃仁勛：好的。

Q： 如果關于價格、性能和每瓦性能等這些指標是真的，那么你怎么看這樣一件事情？比如說，Anthropic最近剛剛宣布，他們與博通和谷歌達成了一份多吉瓦級別的TPU計算協(xié)議，他們的大多數(shù)計算都是通過TPU完成的。

顯然，對于谷歌來說，TPU提供了主要的計算資源。而根據(jù)我的觀察，這些大型AI公司，似乎他們的大部分計算資源……曾經(jīng)是完全依賴英偉達的，但現(xiàn)在不是了。所以，如果這些參數(shù)數(shù)據(jù)在紙面上都是真的，你怎么看這些公司仍然選擇其他加速器的情況？

黃仁勛：Anthropic是一個特殊案例，不是一個趨勢。如果沒有Anthropic，TPU還會有增長嗎？完全靠Anthropic支撐。如果沒有Anthropic，Trainium會有增長嗎？完全也是靠Anthropic。這里不是說有大量的ASIC機會，而是只有一個Anthropic。

Q： 但是OpenAI和AMD之間的合作……他們正在自研自己的Titan加速器。

黃仁勛：是的，但是我們都可以承認，OpenAI的主要計算依然依賴英偉達。我們仍在大量合作。

我并不介意其他公司嘗試使用不同的東西。如果他們不試試這些產(chǎn)品，他們怎么會知道我們的有多好？我們也需要被提醒，必須不斷努力，才能維持我們今天的地位。

總是會有夸大的說法。但是，看看過去被取消的ASIC項目數(shù)量。要做出比英偉達好的產(chǎn)品并不容易。其實也并不明智。當然英偉達肯定會有遺漏的地方，在我們的規(guī)模和速度上，我們是唯一一家每年都在大幅度推動技術躍升的公司——每一年。

Q： 我想他們的邏輯可能是：“嘿，這些產(chǎn)品不需要更好，只要不比英偉達差70%就可以了”，因為從你們這買要支付70%的利潤。

黃仁勛：別忘了，即使是ASIC，利潤率也非常高。假設英偉達的利潤率是70%，ASIC的利潤率也接近65%。你到底省了多少？

Q：你是指博通？

黃仁勛：是的。你總要給某家公司支付費用。從我所了解的數(shù)據(jù)來看，ASIC的利潤率非常高。他們自己也這么認為，并且驚人的ASIC利潤率感到自豪。

很久以前，我們并沒有能力做這樣的事情。當時，我并沒有深刻意識到，建立一個像OpenAI或Anthropic這樣的基礎AI實驗室是多么困難，他們需要供應商做出巨大的投資。我們當時無法提供數(shù)十億美元的投資讓Anthropic使用我們的計算資源，但谷歌和AWS可以。他們在早期投入了巨額資金，使Anthropic最終使用了他們的計算資源。而當時我們沒法做到。

我的失誤在于沒有深刻認識到AI實驗室們別無選擇，風險投資公司永遠不會向一個實驗室投資50-100億美元。不過即使我明白這一點，我認為當時我們也無法做到。好在我不會再犯同樣的錯誤了。

我很高興能投資OpenAI，并幫助他們擴展。我也很高興后來Anthropic找到我們時，我們能夠投資支持他們。過去我們做不到，如果能重來——如果當時的英偉達有我們今天的規(guī)?！覍⑹謽芬膺@么做。

英偉達為什么不做超級云服務商？

Q：這確實很有意思。多年來，英偉達一直是AI領域賺錢最多的公司?，F(xiàn)在你們在進行投資，據(jù)報道，你們已經(jīng)向OpenAI投資了高達300億美元，向Anthropic投資了100億美元。而現(xiàn)在，他們的估值已經(jīng)顯著增長，我相信它們還會繼續(xù)增長。

所以，在這些年里，你們一直為這些公司提供算力，你們能看到它們的發(fā)展方向。幾年前，甚至就在一年以前，他們的估值僅是現(xiàn)在的十分之一，而當時你們手頭有充裕的現(xiàn)金。按理說，有一種可能是，英偉達自己可以打造一個基礎研究實驗室，進行巨額投資讓這一切成為可能，或者在高額估值之前更早完成你們現(xiàn)在所做的交易。我很好奇，為什么不早點做呢？

黃仁勛：我們在能夠做到的時候就馬上做了。如果更早具備條件，我也愿意更早去做。但當Anthropic需要我們這么做的時候，我們并不具備條件。這在當時對我們來說也不是一個合理的選擇。

Q：為什么？是因為資金問題嗎？

黃仁勛：是的，投資規(guī)模的問題。那時我們從未對外部公司進行過投資，尤其是這么大規(guī)模的投資。當時我們沒有意識到這是必要的。我一直認為他們可以像其他公司一樣去找風投融資。但他們想要實現(xiàn)的目標并不是通過風投就能完成的。OpenAI想要實現(xiàn)的目標也無法通過風投達成。我現(xiàn)在認識到了，但當時并不了解。

不過這也是他們的聰明之處。他們早就意識到必須這樣做。我很高興他們當時做出了這樣的選擇。盡管這導致了Anthropic不得不去找別人，但我仍然為他們存在而感到高興。Anthropic的存在對于世界來說是件好事，我真心為此感到欣喜。

Q：當然，你們仍然賺了很多錢，而且每個季度賺得越來越多。

黃仁勛：即便如此，仍然可以有遺憾。

Q：那問題依舊存在——現(xiàn)在你們手頭有大量資金，并且一直賺更多的錢，你們應該用這些資金來做什么？一個答案是，一個中間商生態(tài)系統(tǒng)正在崛起，他們使得這些研究實驗室將資金性開支轉為運營性開支，以便這些實驗室可以租用計算資源。芯片非常昂貴，但它們在生命周期內能產(chǎn)生巨大的價值，因為AI模型正變得越來越強大。英偉達有足夠的資金來承擔這樣的資本性開支。實際上，據(jù)報道，你們?yōu)镃oreWeave提供了多達63億美元的支持，并向其投資了20億美元。

那么，為什么英偉達不自己成為一家云服務商，自己租賃這些計算資源？

黃仁勛：這是公司哲學問題。英偉達應做“必須做的事，但越少越好”。這意味著，我們正在構建計算平臺的工作是這樣的：如果我們不去做，我真心相信就不會有人去做。

如果我們不像現(xiàn)在這樣構建NVLink、不像現(xiàn)在這樣構建整個技術棧、不像現(xiàn)在這樣建立整個生態(tài)系統(tǒng)，如果我們沒有在過去20年里堅持建設CUDA——那段時間大部分都是虧錢的——如果我們沒有做這一切，就不會有人去做。

如果我們沒有創(chuàng)建所有CUDA-X庫，使它們面向特定領域……十多年前，我們開始著眼于領域專用的庫。我們意識到，如果我們不創(chuàng)建這些庫，無論它們是用于光線追蹤、圖像生成還是早期AI的發(fā)展，那么數(shù)據(jù)處理、結構化數(shù)據(jù)處理、向量數(shù)據(jù)處理這些技術都不會存在。我們甚至為計算光刻創(chuàng)建了叫做cuLitho的庫。如果我們不創(chuàng)建它，也不會有人來做。所以，如果我們不做這些工作，加速計算不會取得今天這樣的進展。

所以，這是我們必須做的事。我們應該全力以赴，竭盡所能去完成這件事。然而，世界上有很多云服務商，我們不做也總會有人出現(xiàn)。英偉達遵循的理念是做“必須做的事，但越少越好”，一切都是以此為核心的。

關于云服務，如果我們不支持CoreWeave這樣的“新型云服務商”存在，那么這些AI云公司就不會存在。如果沒有我們的支持，CoreWeave根本無法存在。我們不支持Nscale，它們也不會走到今天。如果沒有我們的支持，Nebius也不會達到今天的水平。而現(xiàn)在，它們發(fā)展得非常好。

Q：為什么你不去挑選贏家？

黃仁勛：首先，這不是我們的責任。其次，英偉達剛剛創(chuàng)立時，有60家從事3D圖形業(yè)務的公司。最后，只有我們活了下來。但如果你當時問那60家公司哪家能活下來，英偉達很可能會被列為最不可能的那一個。

當時，英偉達的圖形架構完全搞錯了。不是有一點錯，而是徹底錯了。

我們設計了一種開發(fā)者完全無法支持的架構。它永遠不可能取得成功。我們本著正確的第一性原理去推導，但最終得出了錯誤的解決方案。

當時，所有人都會把我們排除在競爭名單之外。然而，看看我們現(xiàn)在的樣子。

因此，我深知，要懷有足夠的謙遜。不要去挑選贏家。要么讓他們自己競爭，要么支持所有人。

Q：我有一點沒聽懂。你說英偉達并不優(yōu)先支持新型云服務公司，但又列舉了很多新型云服務公司，并說“如果沒有英偉達的支持，它們就不會存在”。這兩個說法怎么兼容呢？

黃仁勛：首先，它們需要有生存的意愿，并且主動來尋求我們的幫助。

當它們渴望存在，并且有自己的商業(yè)計劃、專業(yè)技能和熱情時——顯然它們必須本身具備一些能力。但最終，它們需要一些投資來站穩(wěn)腳跟，而我們會為它們提供支持。越早啟動它們的飛輪效應越好。

你的問題是，“我們想做金融投資方嗎？”答案是否定的。融資是別人的領域，我們更愿意與所有從事融資業(yè)務的人合作，而不是自己去當金融家。我們的目標是專注于我們擅長的領域，讓我們的商業(yè)模式盡量簡單，同時支持我們的生態(tài)系統(tǒng)。

比如，當OpenAI需要規(guī)模高達300億美元的投資時，我們會出手幫助他們。世界需要他們的存在。世界渴望他們的存在，我也希望他們存在。他們現(xiàn)在有著強勁的增長勢頭。我們會支持他們并幫助他們擴展。這種投資我們會去做，因為他們需要我們。但我們并不是試圖做“盡可能多的事情”，而是“盡可能少”。

Q：這個問題可能顯而易見，但我們多年來一直處于GPU短缺的狀態(tài)，現(xiàn)在隨著模型的進步，供需缺口似乎更大了。

黃仁勛：沒錯，GPU目前仍然供不應求。

Q：是的。英偉達以一種獨特的方式分配稀缺資源，并非單純的價高者得，而是更多地考慮“我們希望這些新型云服務公司能存在”，因此分配一些資源給CoreWeave、Crusoe，以及Lambda之類公司。英偉達為什么會采取這種方式？你同意這樣的市場描述嗎？

黃仁勛：不，不，你的前提就是錯的。我們在這些事情上非常謹慎。

首先，如果你沒有下訂單，那么再多的討論也是沒用的。在我們收到訂單之前，我們實在無能為力。所以第一步是：我們和所有人一起努力做好需求預測，因為這些東西需要很長時間才能生產(chǎn)出來，而數(shù)據(jù)中心的建設也需要很長時間。我們通過預測來協(xié)調供需，這是第一步。

其次，我們盡可能和更多人一起進行需求預測，但最終還是要實際下訂單。也許由于某種原因，你沒有下訂單，那我們又能做什么呢？在某個時間點后，遵循的是“先到先得”原則。不過，如果你的數(shù)據(jù)中心還沒準備好，或者某些組件還沒就緒，無法讓數(shù)據(jù)中心啟動運行，我們可能會優(yōu)先服務其他客戶。這只是為了最大化我們自己的工廠產(chǎn)能利用率，我們可能會做一些這種調整。

除此之外，優(yōu)先級就是“先到先得”。你需要下訂單。如果你不下訂單，那就真的無可操作。當然，這可能演變成一些故事，比如之前報道提到拉里·佩奇、馬斯克和我共進晚餐，請求獲得GPU。那完全不是真的。我們確實一起吃了頓飯，那是一次非常愉快的晚餐。但他們絕對沒有乞求GPU。他們只需下訂單就行了。一旦訂單下來了，我們會盡全力滿足他們的需求。這件事情并不復雜。

Q：好吧，所以聽起來就是有一個隊列。如果你的數(shù)據(jù)中心準備好了，并且訂單在某個時間下達了，那么你會按順序得到交付。但聽上去這仍不是出價最高者就能優(yōu)先獲得。為什么采取這樣的策略呢？

黃仁勛：我們從來不這樣做。

Q：好吧。

黃仁勛：我們從來沒有。

Q：為什么不把東西賣給出價最高的人？

黃仁勛：因為這是糟糕的商業(yè)行為。你定好價格，然后讓人們決定是否購買。我知道芯片行業(yè)的其他公司在需求很高時會調整價格，但我們不會。我們從來沒有這樣做過。你可以依賴我們。我更希望成為行業(yè)的基礎，不需要客戶反復猜測。如果我們給了你一個報價，那就是最終價格。如果需求暴漲，那就讓它暴漲吧。

Q：另一方面，這也是為什么你和臺積電有良好合作關系的原因，對嗎？

黃仁勛：是的，英偉達和臺積電合作即將滿30年了。我們之間甚至沒有簽過法律合同。有些事情總體上講求公平，有時候我占便宜，有時候吃虧。但總體來說，我們有著極好的關系。我可以完全信任他們，完全依賴他們。

你可以相信英偉達的是：每一年，都可以期待我們帶來的進步。今年是Vera Rubin，明年是Vera Rubin Ultra，再之后是Feynman，再下一年可能是尚未命名的新產(chǎn)品。每一年，我們都讓你值得期待。放眼整個ASIC領域，你都很難找到另一個團隊如此穩(wěn)定，讓單片成本每年下降一個數(shù)量級，同時保持高產(chǎn)的能力。

沒有深度學習，英偉達也會做加速計算

Q：一個有趣的問題。假設你們已經(jīng)占據(jù)了臺積電3nm工藝的大部分產(chǎn)能，并且未來在2nm節(jié)點時也占據(jù)大多數(shù)。你是否認為，考慮到 AI 的需求如此之大，而前沿產(chǎn)能無法滿足需求，你們可以回頭利用7nm這樣較老工藝節(jié)點的剩余產(chǎn)能，比如制造一個基于Hopper或Ampere架構的芯片，但結合現(xiàn)有的數(shù)值優(yōu)化技術和你提到的其他改進？你覺得我們會在2030年之前看到這樣的情況嗎？

黃仁勛：沒這個必要。原因是，每一代架構不僅僅依賴晶體管工藝制程。工程設計、封裝、堆疊、數(shù)值優(yōu)化，以及系統(tǒng)架構上的種種改進都大有作為。

如果遇到產(chǎn)能不足的情況，就回到較舊的工藝節(jié)點重新設計芯片……那需要的研發(fā)投入誰也承擔不起。我們可以承擔向前推進的投入，但承擔不起回頭的代價。當然，如果情形是……做個思想實驗：如果有一天我們得出結論，“我們再也無法得到更多的前沿產(chǎn)能”，如果真到了那天，我當然會立刻選擇回去使用7nm工藝。

Q：有人提出過一個問題，為什么英偉達不同時并行展開多個使用不同架構的芯片項目？

比如你們可以研發(fā)像Cerebras那樣的晶圓級芯片，或者像Dojo那樣的大型封裝，甚至一個完全沒有CUDA的設計。你們有足夠的資源和工程人才，能夠并行開展這些項目。那么，為什么還要把所有的賭注押在一個籃子里？

黃仁勛：哦，我們是可以做到。但問題是，我們沒有找到更好的想法。我們可以嘗試這些東西，但它們并沒有更好。我們在模擬器里測試過所有這些方案，結論都很明確：效果更差。所以我們不會去做。我們目前專注的項目，正是我們最想做的。

當然，如果任務類別發(fā)生了重大變化——我指的不是算法，而是真正的任務需求變化，這取決于市場的形態(tài)——那么我們可能會決定增加一些其他的加速器。

例如，最近我們引入了 Groq，我們將其整合到CUDA生態(tài)系統(tǒng)中。我們之所以這樣做，是因為如今Token的價值已經(jīng)高得驚人，這么做可以給Token設定不同的價格。幾年前，Token要么免費，要么不貴。但現(xiàn)在，客戶越來越多樣化，他們需要不同的性能表現(xiàn)。比如我們的軟件工程師，如果我能提供更快響應的Token，讓他們比現(xiàn)在更高效，我愿意為此買單。

這個市場是最近才出現(xiàn)的。我認為，我們現(xiàn)在可以基于響應時間來細分市場。這就是我們決定拓展帕累托前沿，并創(chuàng)建一個響應時間更快的推理細分市場的原因，盡管它的吞吐量較低。

在此之前，提高吞吐量一直更為優(yōu)先。但我們認為，未來可能會出現(xiàn)一種場景：即便工廠的吞吐量較低，但由于高平均售價（ASP），也有意義。

這就是我們這么做的原因。但總體而言，從架構的角度出發(fā)，如果讓我擁有更多資源，我會將這些資源投資于英偉達的現(xiàn)有架構。

Q：我覺得這種“高溢價Token”和推理市場細分化的想法非常有趣。

黃仁勛：是的，市場的進一步細化。

Q：好，最后一個問題。假設深度學習革命從未發(fā)生過，英偉達現(xiàn)在會做什么？

黃仁勛：加速計算——我們一直以來所做的事情。

我們認定摩爾定律正在放緩……通用計算在很多方面表現(xiàn)良好，但在許多計算任務上并不理想。

因此，我們將一種名為GPU的架構與CPU結合在一起，以加速CPU的計算負載。不同的代碼內核或算法可以被卸載到我們的GPU上運行。結果是，你可以將一個應用程序的速度提高100倍、200倍。

這種性能可以用在哪里？顯然是在工程和科學領域，比如物理學、數(shù)據(jù)處理、計算機圖形學、圖像生成等等。即使今天沒有AI，英偉達依然會是一家非常龐大的公司。

這一點有著非常根本的原因，那就是：通用計算能力繼續(xù)擴展的潛力基本上已經(jīng)走到盡頭。更進一步可行方式，是領域專用的加速器。

我們最早涉足的領域之一是計算機圖形學，但還有許多其他領域，比如粒子物理和流體模擬、結構化數(shù)據(jù)處理，以及各種受益于CUDA技術的算法。

我們的使命一直是將加速計算帶給全世界，推動那些通用計算無法實現(xiàn)的應用發(fā)展，幫助突破科學邊界。一些早期的應用包括分子動力學、用于能源勘探的地震處理、圖像處理以及計算機圖形的方方面面，在這些領域，通用計算效率都太低。

如果沒有AI，我會非常遺憾。但正因為我們在計算技術上的進步，深度學習被普及到世界各地。我們讓研究人員、科學家、學生都可以通過一臺PC或GeForce顯卡做出令人驚嘆的科學研究。這一承諾從未改變過，一點點都沒有。

如果你看GTC，開場部分根本與AI無關。計算光刻、量子化學研究、數(shù)據(jù)處理，這些內容與AI無關，但依然非常重要。我知道AI很激動人心，但還有很多人在做不涉及AI的重要工作，而這些計算任務并不僅僅局限于張量計算。