黃仁勛來(lái)訪背后：英偉達(dá)H20芯片憑啥卡脖子？國(guó)產(chǎn)GPU超車(chē)要幾年？

黃仁勛來(lái)訪，走到哪里都說(shuō)好話(huà)。

7月16日熱搜 #黃仁勛稱(chēng)華為AI芯片將取代英偉達(dá)#，#黃仁勛稱(chēng)輕視華為的人極其天真#，#黃仁勛稱(chēng)想買(mǎi)一輛小米汽車(chē)#，#黃仁勛穿唐裝亮相#。7月17日熱搜 #黃仁勛稱(chēng)早就知道雷軍會(huì)成功#，#黃仁勛盛贊中國(guó)多家新能源車(chē)企#，#黃仁勛稱(chēng)DeepSeek開(kāi)辟新領(lǐng)域#。

1年前卻是另一番光景，2024年6月7日熱搜 #黃仁勛稱(chēng)臺(tái)灣為國(guó)家#。2024年6月12日熱搜 #國(guó)臺(tái)辦說(shuō)希望黃仁勛好好補(bǔ)補(bǔ)課#。2024年12月7日熱搜 #黃仁勛被曝避稅80億美元#。

待遇逆轉(zhuǎn)，原因是英偉達(dá)H20芯片解禁了。7月16日，美國(guó)已批準(zhǔn)H20芯片銷(xiāo)往中國(guó)。

英偉達(dá)的GPU芯片，長(zhǎng)相跟電腦機(jī)箱里的顯卡差不多，像一塊板磚，有幾斤重。拆掉外殼和散熱片之后，就看到了一個(gè)電路板。分成6小塊1大塊的黑色方塊就是GPU，放大圖片能看到NVIDIA字樣。

H20芯片的性能已經(jīng)相當(dāng)落后。

評(píng)價(jià)AI芯片的性能，看3個(gè)關(guān)鍵指標(biāo)：顯存容量、BF16算力、GPU互連帶寬。顯存容量決定了能裝載多大的模型，模型越大，能力越強(qiáng)。BF16算力決定模型的訓(xùn)練速度和推理速度。Deepseek r1這樣的滿(mǎn)血模型，參數(shù)量很大，訓(xùn)練的時(shí)候需要幾百塊甚至幾萬(wàn)塊GPU一起訓(xùn)練，GPU之間的互連帶寬是一個(gè)瓶頸。

H20 GPU是H100的閹割版，BF16算力降低到7%（144/1979），而H100是3年前，2022年3月發(fā)貨的產(chǎn)品。與最新型號(hào)B300相比，H20的三個(gè)關(guān)鍵指標(biāo)的相對(duì)值分別為33%（96/288）、2.8%(144/5000)，50%（900/1800）。H20在中國(guó)以外的地方賣(mài)不掉，如果中國(guó)不賣(mài)，只能當(dāng)垃圾扔掉，虧損55億美元。

性能落后的H20仍然在中國(guó)大賣(mài)，沒(méi)有被國(guó)產(chǎn)GPU替代，是因?yàn)橛ミ_(dá)有卡脖子技術(shù)：BF16算力、nvlink、CUDA生態(tài)。

接下來(lái)這一段的技術(shù)名詞較多，看不懂的段落可以跳過(guò)，不影響看懂結(jié)論。

BF16和FP16都是用16位存儲(chǔ)一個(gè)數(shù)，形式是科學(xué)計(jì)數(shù)法，例如0.3141×10^1。差別在于BF16格式用8位存儲(chǔ)指數(shù)部分，用7位存儲(chǔ)小數(shù)部分。FP16格式用5位存儲(chǔ)指數(shù)部分，用10位存儲(chǔ)小數(shù)部分。BF16的表示范圍較大，[9.2×10^(-41)，3.38953139×10^38]，但精度較低。FP16的表示范圍較小，[5.96×10^(-8),65504],但精度較高。

BF16格式更適合大模型，訓(xùn)練時(shí)更容易收斂，訓(xùn)練花費(fèi)時(shí)間短。如果用FP16格式，訓(xùn)練模型時(shí)容易梯度爆炸，不收斂，得微調(diào)參數(shù)，重新訓(xùn)練，訓(xùn)練花費(fèi)時(shí)間長(zhǎng)。英偉達(dá)GPU從2020年的Ampere 架構(gòu)開(kāi)始支持BF16。

有人會(huì)問(wèn)，BF16不就是調(diào)整一下位數(shù)嗎？看起來(lái)很簡(jiǎn)單，到底難在哪里？

僅僅增加BF16存儲(chǔ)小數(shù)的功能不難，難的是后續(xù)有一大堆芯片單要設(shè)計(jì)，例如BF16的加法器、乘法器、矩陣乘。BF16的數(shù)據(jù)寬度得與GPU的寄存器、緩存、內(nèi)存接口等存儲(chǔ)系統(tǒng)匹配。還得跟FP16、FP32、INT8等格式轉(zhuǎn)換。軟件上，編譯器和所有的函數(shù)庫(kù)都要適配BF16。還得跟英偉達(dá)的FP16兼容，否則，在英偉達(dá)芯片上跑到好好的，換成你的芯片就出錯(cuò)，用戶(hù)肯定要罵你。

最先進(jìn)的國(guó)產(chǎn)GPU，華為昇騰(Ascend)910C還不支持BF16, 預(yù)計(jì)2026年910D會(huì)支持，落后英偉達(dá)6年。

英偉達(dá)的NVlink用來(lái)在兩個(gè)GPU之間高速通信，B200 GPU的帶寬是1.8TB/s。華為昇騰(Ascend)910C的互連帶寬為392GB/s[2]，是nvlink的22%。

FP16算力和NVlink超車(chē)雖然很難，但只要能追上，立刻就會(huì)有被很多人接受。CUDA生態(tài)不一樣，即使做得比CUDA好，仍然很難讓程序員接受。

CUDA是英偉達(dá)芯片上的編程語(yǔ)言，學(xué)習(xí)難度很大。對(duì)程序員來(lái)說(shuō)，學(xué)習(xí)一門(mén)新的編程語(yǔ)言，只需要花費(fèi)一兩天就能掌握個(gè)大概，能寫(xiě)出一個(gè)及格的程序。對(duì)CUDA語(yǔ)言，一兩周也難寫(xiě)出及格的程序。熟練掌握性能優(yōu)化技巧，得用練習(xí)半年。

黃仁勛說(shuō)，中國(guó)有150萬(wàn)會(huì)CUDA編程的人。全世界的CUDA開(kāi)發(fā)者人數(shù)沒(méi)有準(zhǔn)確數(shù)字，不妨假設(shè)500萬(wàn)人。這些人學(xué)習(xí)CUDA費(fèi)了很大的勁，CUDA是他們的飯碗，肯定不愿意輕易丟掉CUDA，再去學(xué)習(xí)一門(mén)替代CUDA的編程語(yǔ)言，去使用一種新的芯片，去跟剛畢業(yè)的學(xué)生回到同一起跑線。

有人可能會(huì)問(wèn)，國(guó)產(chǎn)GPU能不能兼容CUDA編程呢？這樣就沒(méi)有學(xué)習(xí)成本了。

好問(wèn)題，黃仁勛在2006年11月發(fā)明CUDA語(yǔ)言的時(shí)候，就防著這招了。老黃堅(jiān)持CUDA不開(kāi)源，閉源，不讓競(jìng)爭(zhēng)對(duì)手兼容。

國(guó)產(chǎn)GPU只能設(shè)計(jì)自己的編程語(yǔ)言，然后想辦法讓全世界的開(kāi)發(fā)者去用，具體來(lái)說(shuō)就是深度學(xué)習(xí)框架pytorch的開(kāi)發(fā)者，大模型開(kāi)發(fā)者社區(qū)“抱臉huggingface”社區(qū)的開(kāi)發(fā)者，大模型部署軟件vllm的開(kāi)發(fā)者，OpenAI、谷歌、臉書(shū)、馬斯克的xAI這些大公司，斯坦福大學(xué)等高校的教授。

這些人是AI技術(shù)的源頭，他們發(fā)明各種AI新技術(shù)，寫(xiě)成論文公開(kāi)發(fā)表，將訓(xùn)練好的代碼和權(quán)重開(kāi)源。第二梯隊(duì)的科技公司、高校快速跟進(jìn)，在美國(guó)的人基礎(chǔ)上做一些微調(diào)，加入一些本地化的應(yīng)用。

從前面的分析知道，國(guó)產(chǎn)GPU想要在中國(guó)替代英偉達(dá)，得先賣(mài)到美國(guó)去，讓AI技術(shù)的發(fā)明人主動(dòng)用起來(lái)。根據(jù)英偉達(dá)GPU的發(fā)家經(jīng)驗(yàn)，國(guó)產(chǎn)GPU的性能指標(biāo)必須超過(guò)英偉達(dá)10倍，開(kāi)發(fā)者才愿意換掉熟悉的硬件。

跟在英偉達(dá)的屁股后面，老是對(duì)標(biāo)英偉達(dá)2年前、3年前的產(chǎn)品，百分之一萬(wàn)地替代不了英偉達(dá)。

國(guó)產(chǎn)GPU廠商有這么幾家。景嘉微，國(guó)內(nèi)最早布局GPU的企業(yè)，專(zhuān)注于軍用和信創(chuàng)領(lǐng)域。摩爾線程，成立于2020年的摩爾線程，同時(shí)布局消費(fèi)級(jí)顯卡和 AI 計(jì)算芯片。沐曦集成電路，聚焦AI計(jì)算領(lǐng)域，產(chǎn)品有曦思N100（推理）和曦云C500（訓(xùn)推一體）系列芯片，2023年量產(chǎn)以來(lái)累計(jì)銷(xiāo)量突破2.5萬(wàn)顆。壁仞科技，專(zhuān)注高性能通用GPU，其BR104芯片采用自研架構(gòu)，浮點(diǎn)運(yùn)算效能達(dá)國(guó)際旗艦產(chǎn)品90%。

華為，最先進(jìn)的芯片是昇騰(Ascend)910D。媒體報(bào)道中沒(méi)有找到910D的性能參數(shù)，一個(gè)AI自媒體[3]在2025年6月23日爆料，Ascend 910D的FP16算力預(yù)計(jì)800-1000Tflops，達(dá)到英偉達(dá)B200的BF16算力的16%至20%。

國(guó)產(chǎn)GPU想超車(chē)，只有直道硬拼，沒(méi)有彎道。硬件、軟件目標(biāo)各有一個(gè)，芯片算力指標(biāo)超過(guò)英偉達(dá)最新產(chǎn)品10倍，設(shè)計(jì)出一種好學(xué)好用的編程語(yǔ)言。很多網(wǎng)友覺(jué)得只是芯片制造環(huán)節(jié)被卡脖子，沒(méi)有光刻機(jī)，芯片設(shè)計(jì)環(huán)節(jié)很強(qiáng)很牛逼。實(shí)際上，芯片設(shè)計(jì)能力有至少6年差距，BF16功能就是一個(gè)例子。

國(guó)產(chǎn)GPU廠商設(shè)計(jì)一種新的編程語(yǔ)言是一個(gè)很大的挑戰(zhàn)。世界流行的編程語(yǔ)言前50名[4]，沒(méi)有一種是中國(guó)人或者中國(guó)企業(yè)發(fā)明的。

2020年1月15日，中國(guó)科學(xué)院計(jì)算技術(shù)研究所正式對(duì)外發(fā)布由該所計(jì)算機(jī)體系結(jié)構(gòu)國(guó)家重點(diǎn)實(shí)驗(yàn)室編譯技術(shù)團(tuán)隊(duì)自主研發(fā)、面向新一代人工智能和物聯(lián)網(wǎng)應(yīng)用的“木蘭”編程語(yǔ)言體系，并推出“木蘭”開(kāi)源軟件包。發(fā)布時(shí)宣稱(chēng)該編程語(yǔ)言由編譯組完全自主設(shè)計(jì)、開(kāi)發(fā)和實(shí)現(xiàn)，與之配套的編譯器與集成開(kāi)發(fā)工具也完全由團(tuán)隊(duì)自主實(shí)現(xiàn)。

有開(kāi)發(fā)者立刻發(fā)現(xiàn)，木蘭語(yǔ)言只是套殼Python語(yǔ)言，涉嫌造假。隨后，木蘭語(yǔ)言研發(fā)團(tuán)隊(duì)負(fù)責(zé)人劉雷承認(rèn)在接受記者采訪中故意夸大為完全自主開(kāi)發(fā)。2020年1月19 日，中科院計(jì)算所官方表示，木蘭語(yǔ)言存在欺瞞和虛假陳述，已對(duì)當(dāng)事人劉雷停職檢查。2020 年1月23日，中科院計(jì)算所官網(wǎng)發(fā)布調(diào)查與處理意見(jiàn)，決定取消劉雷五年內(nèi)專(zhuān)業(yè)技術(shù)崗位晉升的申請(qǐng)資格等多項(xiàng)處罰。

吹牛忽悠不了程序員，因?yàn)槌绦騿T的信條是“Talk is cheap, show me the code.”屁話(huà)少說(shuō)，放碼過(guò)來(lái)。新聞稿夸成花，PPT寫(xiě)得再漂亮，不行就不行，編譯器不會(huì)因?yàn)槟阕匝芯筒粓?bào)錯(cuò)。

在這樣的條件下，國(guó)產(chǎn)GPU廠商想設(shè)計(jì)出一種優(yōu)秀的編程語(yǔ)言，難度很大。

英偉達(dá)在2006年至2010年推廣GPU的時(shí)候，往各個(gè)大學(xué)猛送GPU。在中國(guó)，英偉達(dá)選中了中科院過(guò)程所。當(dāng)時(shí)過(guò)程所的老師、學(xué)生，后來(lái)都成了技術(shù)大牛、大老板。

國(guó)產(chǎn)GPU廠商在硬件、軟件超車(chē)之后，還要舍得砸錢(qián)贈(zèng)送。三大關(guān)口，超車(chē)不知道要花幾年。

拭目以待！

全文完，感謝閱讀，歡迎點(diǎn)下關(guān)注，參加原始股東計(jì)劃。

如何成為原始股東？只需1步：關(guān)注公眾號(hào)“小小河”，限額前1萬(wàn)人。如何參與抽獎(jiǎng)分紅？給文章留言、點(diǎn)贊、點(diǎn)心?，每種互動(dòng)的中獎(jiǎng)權(quán)重均為1。如果3種互動(dòng)都參加了，那么中獎(jiǎng)權(quán)重為3。抽3人平分文章流量收入的一半，直接給現(xiàn)金紅包。茍富貴，無(wú)相忘。

[1] https://juejin.cn/post/7359893210796376075

[2] https://www.toutiao.com/article/7517439974522765862

[3] https://weibo.com/1402400261/PxPvm0t9q

[4] https://www.tiobe.com/tiobe-index/