英偉達(dá)23人夢之隊(duì)，讓AI用7天干翻了自己的GPU專家

AI在7天內(nèi)自主完成了通常需要專家數(shù)月甚至數(shù)年的GPU內(nèi)核優(yōu)化，而且結(jié)果比自己家的王牌產(chǎn)品還快10%——今天，學(xué)術(shù)預(yù)印本平臺(tái)arXiv上發(fā)布了一項(xiàng)被視為可能徹底改變軟件和芯片優(yōu)化方式的突破性研究。

這一研究由NVIDIA組建的一支23人的頂級(jí)團(tuán)隊(duì)完成，名為《AVO: Agentic Variation Operators for Autonomous Evolutionary Search》（AVO：用于自主進(jìn)化搜索的智能體變異算子）。

簡單來說，AVO（Agentic Variation Operators，智能體變異算子）是讓AI自己當(dāng)起了“程序員+架構(gòu)師+測試員”的合體，去探索人類工程師可能永遠(yuǎn)想不到的底層代碼優(yōu)化方案，最終在英偉達(dá)最新的Blackwell（B200）GPU上，寫出了比當(dāng)今最頂尖人類專家團(tuán)隊(duì)（如cuDNN和FlashAttention-4）編寫的代碼還要快10%以上的高性能計(jì)算內(nèi)核。

值得注意的是，其核心開發(fā)者許冰在X上表示，他一開始根本不懂GPU編程，也由此開啟了這一段“盲編碼”的探索——也許，“不懂”才是最大的優(yōu)勢，人類的認(rèn)知反而會(huì)成為進(jìn)化的局限。

再見！傳統(tǒng)進(jìn)化算法的局限

想象一下，你有一套非常精密的計(jì)算程序（比如現(xiàn)在最火的AI模型中的“注意力機(jī)制”），這套程序要在顯卡（GPU）上跑得飛快。為了達(dá)到這個(gè)目標(biāo)，專業(yè)的程序員們通常要花費(fèi)幾個(gè)月甚至幾年時(shí)間，手動(dòng)調(diào)整代碼、優(yōu)化內(nèi)存訪問、設(shè)計(jì)特殊算法，最終才能比通用版本快個(gè)20%、30%。

但這些手工優(yōu)化有個(gè)大問題：太慢了、太依賴個(gè)人經(jīng)驗(yàn)了。硬件在變、算法在變，每次都需要重新優(yōu)化。

為了自動(dòng)化這個(gè)過程，科學(xué)家們想到了“進(jìn)化算法”：就像生物進(jìn)化一樣，隨機(jī)生成一批代碼，測試哪個(gè)跑得快，保留快的，變異出下一代，不斷重復(fù)。但這個(gè)方法有個(gè)致命缺陷：變異操作是“盲目的”——傳統(tǒng)進(jìn)化算法中的"變異"就是簡單的隨機(jī)修改、交換代碼片段。這就好比你想讓猴子打出莎士比亞的作品，純靠隨機(jī)敲鍵盤是不行的。

而且，傳統(tǒng)的進(jìn)化算法和“大模型輔助設(shè)計(jì)”思路，通常把AI（大語言模型）限定在一個(gè)固定的流程里。比如，人類設(shè)定好規(guī)則（“變異”和“交叉”），讓AI生成一堆代碼候選方案，然后由人類或另一個(gè)程序來篩選和測試。

AVO的革命性在于，它徹底顛覆了這個(gè)關(guān)系。 它不再把AI當(dāng)作流程中的一個(gè)“候選生成器”，而是將整個(gè)變異過程本身，交給一個(gè)自主的智能體循環(huán)來完成。這個(gè)智能體擁有更高的權(quán)限和更全面的視角，它可以：

• 查閱整個(gè)進(jìn)化家譜：查看當(dāng)前所有代碼版本的優(yōu)劣和歷史。
• 調(diào)用領(lǐng)域知識(shí)庫：學(xué)習(xí)特定領(lǐng)域（如GPU硬件架構(gòu)）的專門知識(shí)。
• 分析執(zhí)行反饋：根據(jù)代碼的實(shí)際運(yùn)行性能數(shù)據(jù)，進(jìn)行自我診斷。

基于這些信息，這個(gè)智能體可以自主完成提出修改、修復(fù)錯(cuò)誤、批判方案、驗(yàn)證結(jié)果等一系列完整動(dòng)作。這就像一個(gè)不知疲倦、知識(shí)淵博且具備批判性思維的全棧工程師，在持續(xù)地重構(gòu)和優(yōu)化代碼。

實(shí)戰(zhàn)成績：在最難優(yōu)化的戰(zhàn)場上擊敗人類冠軍

為了證明AVO的強(qiáng)大，研究團(tuán)隊(duì)選擇了一個(gè)公認(rèn)的“硬骨頭”作為測試場：注意力機(jī)制（Attention）的計(jì)算內(nèi)核。這是驅(qū)動(dòng)當(dāng)今所有大語言模型（如ChatGPT、Gemini）的核心組件，也是全球頂尖工程師和科學(xué)家投入巨資、激烈優(yōu)化的焦點(diǎn)。英偉達(dá)的cuDNN和Tri Dao團(tuán)隊(duì)的FlashAttention系列，就是這一領(lǐng)域的標(biāo)桿。

在讓AVO在最新的NVIDIA Blackwell (B200)顯卡上運(yùn)行7天后，實(shí)驗(yàn)的結(jié)果驚人：

• 超越cuDNN：AVO形成的多頭注意力（Multi-Head Attention，MHA）計(jì)算內(nèi)核，在測試的各項(xiàng)配置中，性能超越了cuDNN高達(dá)3.5%。cuDNN是NVIDIA自家工程師花了多年打磨的閉源庫，AVO一個(gè)AI系統(tǒng)跑了7天就超越了它。這相當(dāng)于學(xué)生超越了老師，而且這個(gè)老師已經(jīng)是全世界最好的。
• 超越FlashAttention-4：比學(xué)術(shù)界最先進(jìn)注意力計(jì)算方法FlashAttention-4快10.5%。這種程度的提升已經(jīng)可以稱之為革命性的突破了。
• 遷移能力：更神奇的是，AVO優(yōu)化好的代碼還能舉一反三——在MHA上進(jìn)化7天的成果，遷移到GQA（Grouped-Query Attention，分組查詢注意力）只需30分鐘就能獲得7%-9%的提升。說明AVO學(xué)到的不是死記硬背的特定優(yōu)化，而是通用的優(yōu)化策略和思維方式。
• 微架構(gòu)級(jí)別的深度優(yōu)化：AVO發(fā)現(xiàn)的優(yōu)化不是簡單的換個(gè)算法，而是深入到GPU寄存器分配、warp調(diào)度、流水線時(shí)序的微架構(gòu)級(jí)別。這說明AI已經(jīng)具備了理解硬件底層行為的能力。

傳統(tǒng)方法像是在填空題里選答案，而AVO像是在開放題中自由發(fā)揮，可以探索各種可能性。而且，AVO不是靠猜什么優(yōu)化有用，而是真正運(yùn)行代碼、測量性能，用數(shù)據(jù)驅(qū)動(dòng)進(jìn)化。同時(shí)，智能體會(huì)從每次嘗試中學(xué)習(xí)，失敗的嘗試也有價(jià)值，告訴它這條路不通。

AVO讓AI像真正的程序員一樣，會(huì)學(xué)習(xí)、會(huì)思考、會(huì)測試，最終寫出了比人類專家還快的代碼。這是AI優(yōu)化自身能力的重要一步。

從其進(jìn)化結(jié)果來看，對(duì)AI硬件優(yōu)化意味著：更快的大模型訓(xùn)練，如果注意力機(jī)制計(jì)算能加速10%，整個(gè)大模型訓(xùn)練都能更快；降低硬件門檻，同樣的硬件能跑更大的模型，或者同樣的模型能用更便宜的硬件；解放專家，不再需要頂尖優(yōu)化工程師花費(fèi)數(shù)月手工調(diào)優(yōu)。

從這一AI研究方向而言，這篇論文證明了一個(gè)重要觀點(diǎn)：AI不僅可以用來自動(dòng)化任務(wù)，還可以用來自動(dòng)化優(yōu)化本身。未來可能會(huì)有更多“AI優(yōu)化AI”的場景。

結(jié)語

這篇論文全部23位作者涵蓋了AI編譯器、高性能計(jì)算、計(jì)算機(jī)視覺、生成式AI等多個(gè)頂級(jí)子方向——AI智能體編程先鋒（Terry Chen, 許冰）、 AI編譯器之父（陳天奇）、NVIDIA研究VP（Ming-Yu Liu）、 GPU內(nèi)核專家（John Tran, Andrew Kerr）、注意力機(jī)制專家（Ali Hassani）、學(xué)術(shù)界權(quán)威（Humphrey Shi, Luis Ceze），以及系統(tǒng)工程支撐團(tuán)隊(duì)。

這是一個(gè)從理論到工程、從學(xué)術(shù)到產(chǎn)品全鏈路覆蓋的頂級(jí)團(tuán)隊(duì)。AVO不是一篇試試看的探索性論文，而是NVIDIA精心布局的戰(zhàn)略級(jí)成果。

從更宏觀的視角看，AVO代表了AI研發(fā)范式的又一次進(jìn)化。它不再滿足于讓AI生成內(nèi)容或遵循指令，而是賦予其長期的、目標(biāo)導(dǎo)向的、具備反思能力的自主探索權(quán)。它也為我們打開了一扇門：未來，在芯片設(shè)計(jì)、編譯器優(yōu)化、算法創(chuàng)新等需要極度專業(yè)知識(shí)和創(chuàng)造力的領(lǐng)域，自主進(jìn)化的AI智能體可能成為人類最得力的“共研者”。它們可以不知疲倦地探索人類思維難以觸及的“微觀架構(gòu)”組合空間，加速我們邁向更強(qiáng)大、更高效計(jì)算未來的進(jìn)程。

或許，這項(xiàng)研究正像一顆投入湖面的石子，其漣漪將逐漸擴(kuò)散至整個(gè)計(jì)算產(chǎn)業(yè)的每一個(gè)角落。

論文地址 https://arxiv.org/pdf/2603.24517v1