包攬MLPerf?新榜及2021年度總冠軍，系統(tǒng)級(jí)創(chuàng)新方顯智算真實(shí)力

日前，備受業(yè)內(nèi)矚目的國(guó)際權(quán)威AI基準(zhǔn)測(cè)試MLPerf?公布了最新一期訓(xùn)練（Training)榜單V1.1。其中，中國(guó)系統(tǒng)廠商浪潮信息提交了AI服務(wù)器所有8項(xiàng)單機(jī)測(cè)試的固定任務(wù)(Closed Division)成績(jī)，并斬獲其中7項(xiàng)冠軍。而縱觀即將過(guò)去的2021年，在該年度總共4次性能測(cè)試中，浪潮AI服務(wù)器共斬獲44項(xiàng)第一，名列MLPerf?2021年度冠軍榜首。

那么問(wèn)題來(lái)了，MLPerf?榜單緣何如此重要？以浪潮信息為代表的中國(guó)系統(tǒng)廠商獲得該榜單年度總冠軍背后意味著什么？

大咖云集、接地氣，MLPerf?榜單含金量高

提及與ICT產(chǎn)業(yè)相關(guān)領(lǐng)域的榜單，相信業(yè)內(nèi)有相當(dāng)部分的人會(huì)抱有不屑的態(tài)度。這很容易理解，畢竟在“不服跑個(gè)分”已經(jīng)成為某些廠商口頭禪和誰(shuí)都要跑個(gè)分的今天，某些榜單的含金量大打折扣確是不爭(zhēng)的事實(shí)。

而在我們看來(lái)，衡量和判斷一個(gè)榜單含金量的標(biāo)準(zhǔn)非常簡(jiǎn)單，即參與榜單廠商在與測(cè)試相關(guān)的產(chǎn)業(yè)中的實(shí)力和地位如何（代表權(quán)威性），更重要的是，該榜單的測(cè)試標(biāo)準(zhǔn)及項(xiàng)目是否更貼近該市場(chǎng)和用戶的實(shí)際應(yīng)用場(chǎng)景（代表實(shí)用性），即俗話說(shuō)的是否更接地氣。

據(jù)此，我們來(lái)看看MLPerf?榜單的含金量究竟如何？

以MLPerf?公布的最新一期訓(xùn)練（Training)榜單V1.1為例，我們看到，它吸引了包括谷歌、微軟云、英偉達(dá)、浪潮信息、百度、戴爾、聯(lián)想等14家公司及科研機(jī)構(gòu)的參與。其中谷歌、英偉達(dá)、微軟無(wú)疑是業(yè)內(nèi)公認(rèn)的，當(dāng)下AI領(lǐng)域軟硬件方面絕對(duì)的大咖，而浪潮信息則是AI系統(tǒng)（例如AI服務(wù)器）市場(chǎng)中的No.1（中國(guó)及全球AI服務(wù)器市場(chǎng)始終占據(jù)榜首）。從參與的廠商看，我們不難發(fā)現(xiàn)，其涵蓋了AI的硬件、軟件、系統(tǒng)、應(yīng)用等業(yè)內(nèi)頂尖的企業(yè)。

接下來(lái)我們?cè)倏雌涫欠窀N近市場(chǎng)和用戶的實(shí)際應(yīng)用場(chǎng)商場(chǎng)景。這里我們還是以MLPerf?公布的最新一期訓(xùn)練（Training)榜單V1.1為例，上述參與的相關(guān)企業(yè)共提交180項(xiàng)固定任務(wù)成績(jī)，6項(xiàng)開(kāi)放任務(wù)成績(jī)。其中固定任務(wù)要求參賽各方使用與參考模型等價(jià)的模型和限定的優(yōu)化器，對(duì)于實(shí)際用戶評(píng)測(cè)AI計(jì)算系統(tǒng)性能具備很強(qiáng)的參考意義，也一直是MLPerf?中角逐最激烈及主流廠商最關(guān)注的領(lǐng)域。

對(duì)此，浪潮信息高級(jí) AI 產(chǎn)品經(jīng)理王磊此前接受全球權(quán)威數(shù)據(jù)中心媒體The Next Platform采訪時(shí)曾表示：“MLPerf 是基于最廣泛的 AI 負(fù)載和應(yīng)用場(chǎng)景，例如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和推薦系統(tǒng)?！薄癕LPerf 訓(xùn)練基準(zhǔn)中的八項(xiàng)任務(wù)提供了較為完整的各類神經(jīng)網(wǎng)絡(luò)模型，對(duì)客戶的應(yīng)用場(chǎng)景有非常好的代表性”。而也正是這份權(quán)威雜志，其在《WHY THE MLPERFBENCHMARK IS GOOD FOR AI, AND GOOD FOR YOU》https://www.nextplatform.com//why-the-mlperf-benchmark-is-good-for-ai-and-good-for-you/，文章中，作為第三方，詳細(xì)分析了MLPerf?榜單權(quán)威性的原因，有興趣的業(yè)內(nèi)人士不妨拿來(lái)一閱，相信會(huì)對(duì)MLPerf?榜單，尤其是其權(quán)威性和實(shí)用性會(huì)有更加客觀和深刻的理解，我們這里不再贅述。

我們認(rèn)為，無(wú)論是從參與的廠商（AI產(chǎn)業(yè)相關(guān)大咖云集），還是其接近市場(chǎng)和用戶實(shí)際應(yīng)用場(chǎng)景（項(xiàng)目設(shè)置更符合實(shí)際應(yīng)用）以及獨(dú)立第三方的分析和解讀，MLPerf?榜單不僅權(quán)威，還更接地氣，是它對(duì)于市場(chǎng)和用戶的真正價(jià)值所在，即市場(chǎng)和用戶以此榜單作為標(biāo)準(zhǔn)做出的選擇，與其在實(shí)際業(yè)務(wù)場(chǎng)景中的應(yīng)用表現(xiàn)應(yīng)相差無(wú)幾。

當(dāng)我們明確了MLPerf?榜單的權(quán)威性及實(shí)用性再來(lái)看看中國(guó)系統(tǒng)廠商浪潮信息的表現(xiàn)。

2021年，浪潮AI服務(wù)器在MLPerf?數(shù)據(jù)中心AI推理場(chǎng)景的總32項(xiàng)任務(wù)中斬獲17項(xiàng)冠軍，在邊緣AI推理場(chǎng)景的總31項(xiàng)任務(wù)中斬獲16項(xiàng)冠軍，從云到邊全面領(lǐng)先；在單機(jī)AI訓(xùn)練場(chǎng)景的16項(xiàng)任務(wù)中浪潮AI服務(wù)器共斬獲11項(xiàng)冠軍。

可以說(shuō)，無(wú)論是從MLPerf?榜單，還是實(shí)際應(yīng)用的角度，中國(guó)系統(tǒng)廠商在AI計(jì)算確實(shí)走在了前列。

系統(tǒng)級(jí)創(chuàng)新，榜單背后的硬核支撐

所謂知其然，需知所以然。中國(guó)系統(tǒng)廠商緣何會(huì)在MLPerf?榜單中名列前茅？

眾所周知，對(duì)于AI算力，雖然芯片是核心，但事實(shí)是，芯片從造出來(lái)到大規(guī)模用起來(lái)，往往還隔著一個(gè)巨大的產(chǎn)業(yè)鏈鴻溝，主要體現(xiàn)在，算力的供給需要構(gòu)建算力平臺(tái)，需要解決架構(gòu)設(shè)計(jì)、核心部件、高速互聯(lián)、散熱設(shè)計(jì)等一系列工程問(wèn)題。而要解決這些問(wèn)題，就涉及到系統(tǒng)創(chuàng)新。

需要提醒的是，千萬(wàn)不要忽視系統(tǒng)創(chuàng)新的難度，具體到一臺(tái)AI服務(wù)器，除了芯片外，系統(tǒng)廠商需要解決超過(guò)300個(gè)關(guān)鍵的過(guò)程控制點(diǎn)和設(shè)計(jì)難題，同時(shí)還需要解決與算法框架和AI應(yīng)用的優(yōu)化和適配等挑戰(zhàn)。

業(yè)內(nèi)知道，與單純的芯片廠商相比，系統(tǒng)廠商由于長(zhǎng)期位居服務(wù)市場(chǎng)和客戶的最前沿（離市場(chǎng)和用戶最近），最知曉他們的痛點(diǎn)和需求，所以在我們看來(lái)，有且只有系統(tǒng)廠商，依靠其系統(tǒng)級(jí)的創(chuàng)新能力，有的放矢，化解我們前述面臨的挑戰(zhàn)，最終釋放出AI算力的最大價(jià)值，高效率地輸出算力，滿足市場(chǎng)和用戶實(shí)際的應(yīng)用場(chǎng)景及業(yè)務(wù)需求。而這一規(guī)律，通過(guò)此次和全年霸榜MLPerf?的中國(guó)系統(tǒng)廠商浪潮信息在AI計(jì)算系統(tǒng)創(chuàng)新方面的系統(tǒng)設(shè)計(jì)和全棧優(yōu)化能力的表現(xiàn)得到了很好的驗(yàn)證。

具體表現(xiàn)在，針對(duì)AI訓(xùn)練中常見(jiàn)的密集I/O傳輸瓶頸，浪潮AI服務(wù)器以領(lǐng)先設(shè)計(jì)大幅降低通信延遲，極大提升了AI訓(xùn)練效率；同時(shí)，針對(duì)高負(fù)載多GPU協(xié)同任務(wù)調(diào)度，對(duì)NUMA節(jié)點(diǎn)與GPU之間的數(shù)據(jù)傳輸進(jìn)行全面優(yōu)化和深度調(diào)校，確保訓(xùn)練任務(wù)中的數(shù)據(jù)IO無(wú)阻塞；在散熱層面，針對(duì)目前業(yè)界功率最高的A100-SXM-80GB(500W） GPU，浪潮率先開(kāi)發(fā)的先進(jìn)冷板液冷系統(tǒng)，確保GPU在全功率甚負(fù)載下依然穩(wěn)定工作，將AI計(jì)算系統(tǒng)的性能發(fā)揮到極致。

針對(duì)不同AI任務(wù)的計(jì)算特點(diǎn)，浪潮AI服務(wù)器的精細(xì)化調(diào)優(yōu)能力也走在前列。在2020年的MLPerf? V0.7評(píng)測(cè)中，浪潮信息開(kāi)創(chuàng)性提出效率更高的圖像分類（ResNet50）收斂性優(yōu)化方案，即在ImageNet數(shù)據(jù)集上，僅使用85%的迭代步數(shù)就達(dá)到了75.9%的目標(biāo)精度，該優(yōu)化方案將訓(xùn)練性能提升了15%。目前，該方案已被MLPerf社區(qū)成員普遍采納。此外，在本次V1.1競(jìng)賽中，浪潮信息對(duì)Resnet任務(wù)中的圖像的前處理進(jìn)行了優(yōu)化，使用DALI框架并在GPU上運(yùn)行解碼，解決了CPU運(yùn)行的計(jì)算瓶頸，實(shí)現(xiàn)了浪潮信息在ResNet任務(wù)上連續(xù)3屆領(lǐng)先。

由此看，本次浪潮AI服務(wù)器在8項(xiàng)AI訓(xùn)練任務(wù)中，取得7項(xiàng)冠軍，正體現(xiàn)了浪潮AI服務(wù)器對(duì)多元AI計(jì)算場(chǎng)景的洞察和深刻理解。

除了具備系統(tǒng)級(jí)的創(chuàng)新能力外，我們認(rèn)為在解決這些市場(chǎng)和用戶痛點(diǎn)及滿足他們需求的同時(shí)，系統(tǒng)廠商還能形成自己對(duì)于相關(guān)產(chǎn)業(yè)發(fā)展趨勢(shì)的洞察和理解，做到先知先覺(jué)，并率先付諸于行動(dòng)，進(jìn)而形成市場(chǎng)先發(fā)和領(lǐng)先優(yōu)勢(shì)。

例如鑒于人工智能在算法領(lǐng)域的不斷突破，不同數(shù)值精度帶來(lái)了跨度更大的計(jì)算類型，對(duì)計(jì)算芯片指令集、架構(gòu)的要求更加細(xì)分。對(duì)此，圖靈獎(jiǎng)獲得者 John Hennessy和 David Patterson2019年共同發(fā)表的《計(jì)算機(jī)架構(gòu)的新黃金時(shí)代》，詳見(jiàn)原文https://cacm.acm.org/magazines/2019/2/234352-a-new-golden-age-for-computer-architecture/fulltext中提出：當(dāng)摩爾定律不再適用，一種更以硬件為中心的針對(duì)特定問(wèn)題領(lǐng)域定制設(shè)計(jì)計(jì)算機(jī)體系架構(gòu)的方法DSAs(Domain-Specific Architectures）會(huì)成為主導(dǎo)，這種設(shè)計(jì)的核心在于針對(duì)特定問(wèn)題或特定領(lǐng)域來(lái)定義計(jì)算架構(gòu)。

而我們從系統(tǒng)廠商浪潮信息上述的系統(tǒng)級(jí)創(chuàng)新不難判斷，其不僅對(duì)于計(jì)算產(chǎn)業(yè)的發(fā)展趨勢(shì)早有認(rèn)知（例如率先推出采用GPU加速的AI服務(wù)器實(shí)例，并至今引領(lǐng)這一市場(chǎng)），且已經(jīng)通過(guò)自身的系統(tǒng)級(jí)創(chuàng)新能力正在化解擺在業(yè)內(nèi)面前、讓新的計(jì)算架構(gòu)真正落地所面臨的挑戰(zhàn)（如我們前述阻礙AI芯片充分發(fā)揮算力產(chǎn)生的產(chǎn)業(yè)鏈鴻溝）。而這也是中國(guó)系統(tǒng)廠商霸榜MLPerf?榜單背后的又一個(gè)重要原因。

服務(wù)數(shù)字經(jīng)濟(jì)，智算時(shí)代迎挑戰(zhàn)仍需更多

眾所周知，ICT產(chǎn)業(yè)的創(chuàng)新最終都是要為市場(chǎng)和用戶服務(wù)。而在人工智能為代表的智算時(shí)代同樣如此。我們前述AI計(jì)算系統(tǒng)創(chuàng)新的根本目的，最終還是要讓算力、算法和數(shù)據(jù)去服務(wù)數(shù)字經(jīng)濟(jì)，去支撐科研創(chuàng)新，去推動(dòng)智慧轉(zhuǎn)型，這就需要加大以AI計(jì)算為核心的智能計(jì)算中心—這一新型人工智能基礎(chǔ)設(shè)施建設(shè)，以此推動(dòng)AI產(chǎn)業(yè)化、產(chǎn)業(yè)AI化和政府治理的智能化。

但隨之而來(lái)的，面對(duì)智算中心建設(shè)所需大規(guī)模AI算力部署，AI算力平臺(tái)建設(shè)將面臨高功耗、高電流密度、高總線速率、高系統(tǒng)復(fù)雜度的新挑戰(zhàn)。

對(duì)此，中國(guó)工程院院士、浪潮首席科學(xué)家王恩東認(rèn)為，要想釋放多元算力價(jià)值、促進(jìn)人工智能創(chuàng)新，一是要重視智算系統(tǒng)的創(chuàng)新，加大人工智能新型基礎(chǔ)設(shè)施建設(shè)，把從技術(shù)到應(yīng)用的鏈條設(shè)計(jì)好，從體系結(jié)構(gòu)、芯片設(shè)計(jì)、系統(tǒng)設(shè)計(jì)、系統(tǒng)軟件、開(kāi)發(fā)環(huán)境等各個(gè)領(lǐng)域形成既分工明確又協(xié)同創(chuàng)新的局面；二是要加快推動(dòng)開(kāi)放標(biāo)準(zhǔn)建設(shè)，通過(guò)統(tǒng)一的、規(guī)范的標(biāo)準(zhǔn)，將多元化算力轉(zhuǎn)變?yōu)榭烧{(diào)度的資源，讓算力好用、易用。

不知業(yè)內(nèi)從王恩東院士的言論看到了什么？我們看到的是，系統(tǒng)級(jí)創(chuàng)新在智算中心的建設(shè)中依然是重中之重，畢竟AI計(jì)算是智算中心的核心，而AI服務(wù)器又是智算中心生產(chǎn)算力的“動(dòng)力機(jī)組”，是產(chǎn)出強(qiáng)大算力的源泉。而放置于智算系統(tǒng)（例如智算中心），系統(tǒng)創(chuàng)新又被賦予了更寬泛的內(nèi)涵，即不僅應(yīng)是算力的生產(chǎn)，還應(yīng)包括聚合、調(diào)度和釋放，同時(shí)需要產(chǎn)業(yè)鏈相關(guān)參與者在遵守統(tǒng)一、規(guī)范的標(biāo)準(zhǔn)之下，通力協(xié)作，各施所長(zhǎng)，打造智算生態(tài)。

實(shí)際的情況是，去年發(fā)布的《智能計(jì)算中心規(guī)劃建設(shè)指南》已經(jīng)就上述做了明確的說(shuō)明。而系統(tǒng)廠商，無(wú)論是在算力的生產(chǎn)、聚合、調(diào)度和釋放，還是在打造生態(tài)方面，已走在了業(yè)內(nèi)的前列。

以浪潮信息為例，除了我們前述的在算力生產(chǎn)層面的系統(tǒng)級(jí)創(chuàng)新外，在算力調(diào)度層面，浪潮AIStation人工智能開(kāi)發(fā)平臺(tái)能夠?yàn)锳I模型開(kāi)發(fā)訓(xùn)練與推理部署提供從底層資源到上層業(yè)務(wù)的全平臺(tái)全流程管理支持，幫助企業(yè)提升資源使用率與開(kāi)發(fā)效率90%以上，加快AI開(kāi)發(fā)應(yīng)用創(chuàng)新（解決了算力的效率問(wèn)題）；在聚合算力方面，浪潮持續(xù)打造更高效率更低延遲硬件加速設(shè)備與優(yōu)化軟件棧；在算力釋放上，浪潮AutoML Suite為人工智能客戶與開(kāi)發(fā)者提供快速高效開(kāi)發(fā)AI模型的能力，開(kāi)啟AI全自動(dòng)建模新方式，加速產(chǎn)業(yè)化應(yīng)用。

總結(jié)：綜上，我們看到，系統(tǒng)廠商在MLPerf?中能取得優(yōu)異成績(jī)的能力，是建立在其對(duì)市場(chǎng)及客戶應(yīng)用場(chǎng)景的理解之上，而其在產(chǎn)品研發(fā)、客戶需求、實(shí)際應(yīng)用中所獲得的洞察和理解，又指導(dǎo)著MLPerf?測(cè)試，是其能夠取得優(yōu)異成績(jī)的一個(gè)重要原因。與此同時(shí)，系統(tǒng)廠商在MLPerf?測(cè)試中的探索和創(chuàng)新也反過(guò)來(lái)幫助其更好地回饋產(chǎn)業(yè)客戶的實(shí)際應(yīng)用，以此形成一種良性的循環(huán)。而這種良性循環(huán)，在保持系統(tǒng)廠商持續(xù)領(lǐng)先的同時(shí)，更重要的是會(huì)加速AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的落地。而在智算中心到來(lái)的時(shí)代，這種能力和良性循環(huán)又會(huì)被放大，進(jìn)而促進(jìn)中國(guó)數(shù)字經(jīng)濟(jì)的發(fā)展。