破GPU算力供需失衡之困，開放加速計算何以應對AIGC算力挑戰？

眾所周知，AIGC時代，算力需求爆發式增長，而開放加速計算（OAI）硬件架構正是為超大規模深度神經網絡模型并行計算而生，天然適用于AIGC大模型訓練，將為AIGC提供有力的創新動力。而隨著日前舉行的OCP ChinaDay大會上，業界首個面向AIGC的《開放加速規范AI服務器設計指南》（以下簡稱《指南》）正式發布，勢必會有效加速算力產業多樣化的轉型與發展，幫助AIGC時代的AI計算產業跨越“創新”鴻溝。

生成式AI計算需求增長，算力多樣化轉型帶來新挑戰

隨著AI的發展，IDC預測，全球AI計算市場規模將從2022年的195.0億美元增長到2026年的346.6億美元，其中生成式AI計算市場規模將從2022年的8.2億美元增長到2026年的109.9億美元。生成式AI計算占整體AI計算市場的比例將從4.2%增長到31.7%。

隨之而來的是這種生成式AI算力需求的增長推動算力產業轉型升級，即企業需要為人工智能、機器學習和深度學習建設全新的IT基礎架構，正由CPU密集型轉向搭載GPU、FPGA、ASIC芯片的加速計算密集型，且越來越多地使用搭載GPU、FPGA、ASIC等加速卡的服務器，所以，異構計算將成為未來計算的主流。

其實，Henessy和Patterson在幾年前的《計算機架構的新黃金時代》中就引入了特定領域體系架構（Domain Specific Architectures，DSAs）的概念，即隨著通用算力技術的演進逐漸減緩，針對特定問題或領域定制計算架構變得愈發重要。基于DSAs思想設計的AI計算芯片，在特定人工智能工作負載下展現出超越通用芯片的處理能力，這極大地推動了多元化人工智能芯片的發展，為產業智能化的加速提供了關鍵基礎和更廣泛的選擇。

正是在上述背景下，目前全球已有上百家公司投入新型AI加速芯片的開發，AI計算芯片多元化轉型趨勢凸顯，但同時也出現了新的挑戰。

主要表現在，單機具有更高的擴展性、集群具有更高的加速比，對卡間互聯、網絡帶寬和延遲提出了更高的要求。例如加速卡間通信的數據量越來越多，僅僅通過傳統的PCIe P2P通信已經無法滿足超大規模深度學習模型的要求。同時，為了提升AI加速卡的算力，單張AI加速卡的功耗逐代顯著提升。

為了解決這些問題，芯片公司相繼推出了各自非標準PCIe CEM形態的AI加速卡，這些新形態的AI加速卡支持更高的功耗和更強大的卡間互聯能力。但隨之而來的是，各廠商采用不同技術路線，產業面臨硬件體系孤島和生態割裂問題，即由于缺乏統一的業界規范，不同AI芯片廠商的新形態AI加速卡，無論在結構上還是電氣特性上都各不相同，導致不同廠商AI系統硬件平臺方案的定制化，帶來算力產業發展高成本和低靈活性等問題。

而業內知道，從芯片到計算系統，需要完成體系結構、信號完整性、散熱、可靠性等大量系統性設計工作，涉及到材料、熱力學、電池技術、流體力學、化學等眾多學科隨著系統能耗、總線速率、電流密度等指標隨業務需求持續攀升，給人工智能計算系統設計帶來嚴峻挑戰。

此外，由于AI計算系統的技術挑戰和設計復雜性，將專有AI芯片集成到系統中，通常既耗時，又需要不菲的系統開發費用，這同樣嚴重阻礙了AI加速器的研發創新和應用推廣。

那么問題來了，業內何以應對上述的新挑戰？

從OCP到OAM，開放計算架構適合AIGC天然屬性初顯

眾所周知，OCP是全球基礎硬件技術領域覆蓋面最廣、最有影響力的開源組織，以其為代表的開放計算項目，創造出一種全新的、全球化的協作模式，通過消除技術壁壘，使得硬件創新的速度遠超過去，加速技術創新迭代。

而面對AI的發展大勢，2019年OCP成立OAI（OpenAccelerator Infrastructure）小組，對更適合超大規模深度學習訓練的AI加速卡形態進行了定義，以解決多元AI加速卡形態和接口不統一的問題，并由此開啟了我們前述AI加速卡在AIGC應用中的挑戰的應對之道。

需要說明的是，作為OAI項目中最核心的OAM（OCP Accelerator Module）—AI加速卡模塊，以標準化和互操作性促進了OAI生態的建立。同年，OCP發布了AI加速卡基板 OAM-UBB SPEC設計規范，又大幅提升了各類符合OAM規范的AI加速芯片的兼容性。

之后的2020年，全球首個OAI基準的計算系統—MX1發布，采用了高帶寬、雙供電等技術，尤其是兩種互聯拓撲的采用，有利于用戶針對不同深度學習模型，并根據芯片通信的需求靈活設計芯片互聯方案。

2021年，浪潮信息發布首款All in One開放加速計算整機NF5，卡間互聯帶寬達PCIe 4.0通訊速率的9倍以上，跨節點高速直連帶寬448GB/s，支持構建千卡級大模型并行訓練集群。

《指南》拾遺補缺，加速開放計算向產業落地之道

由模塊到基板，由系統到集群，從上述事實我們不難發現，開放加速計算的硬件架構正是為超大規模深度神經網絡模型并行計算而生，天然適用于AIGC大模型訓練。但實際的情況是，在當前開放計算技術推向產業落地的過程中，依然存在大量的定制化工作以及現有OAI標準未能完全覆蓋的領域。

因此，浪潮信息基于豐富的開放加速計算工程實踐和產品歷程，面向實際AIGC計算場景，進一步發展和完善了開放加速規范計算系統的理論體系和設計方法，提出了面向AIGC的《開放加速規范AI服務器設計指南》。

縱觀《指南》，我們看到，其進一步發展和完善了開放加速規范AI服務器的設計理論和設計方法，提出了四大設計原則、全棧設計方法，包括硬件設計參考、管理接口規范和性能測試標準，旨在幫助社區成員更快更好地開發AI加速卡并適配開放加速AI服務器，應對生成式AI的算力挑戰。

在該《指南》中，開放加速規范AI服務器設計應遵循四大設計原則，即應用導向、多元開放、綠色高效、統籌設計。在此基礎上，應采用多維協同設計、全面系統測試和性能測評調優的設計方法，以提高適配部署效率、系統穩定性、系統可用性。

那么問題來了，該《指南》為何要制定這些設計原則和設計方法？

以設計原則中的應用導向為例，無論是加速卡的設計，還是系統的設計，都要聚焦實際應用場景，在充分考慮業務特點、模型特征、部署環境的基礎上，以提供“用的了”、“用的起”、“用的好”的解決方案為目標，自上而下完成開放加速計算系統的設計規劃，避免過度冗余設計和一味追求性能帶來的時間、空間、資源和成本的浪費，最終實現高效適配、高效部署、節省產業和社會總成本。浪潮信息服務器產品線總經理趙帥如此解釋。

又如設計原則中的綠色高效，隨著AI訓練芯片功耗的不斷增長，用于AI訓練的機器單機柜功率密度將大幅增加，傳統的風冷模式已無法滿足制冷散熱需求和PUE指標要求，需要加速液冷散熱、高效供配電、能效監測、智能運維等技術在開放加速計算節點和集群層面的全面布局和應用。

對此，趙帥進一步解釋稱，我們看到現在很多的客戶，對于新的數據中心建設都有非常高的能耗指標要求，所以需要通過先進的液冷，或者是其他的一些散熱技術，以使整個數據中心的PUE能到一個更高的水平，所以我們在設計原則方面更多來自于終端客戶的痛點和需求。

至于設計方法方面，趙帥告訴《班門弄斧》，主要是基于前期去跟一些OAM在做適配過程當中發現的一些問題，以及在性能測試當中我們自己積累的一些經驗，把這些東西固化，形成了更加具體和深入的規范，幫助芯片廠商減少試錯成本，基于指南，能更快地去完成產品的開發和迭代。

以其中的全面系統測試為例，由于架構復雜度高、芯片種類多、高速信號多、系統功耗大等特點導致異構加速計算節點通常面臨故障率高的問題。因此，需要更加全面、嚴苛的測試條件才能夠最大程度降低系統生產、部署、運行過程中的問題和故障風險，提高系統穩定性，減少斷點對訓練持續性的影響。為此，《指南》對結構、散熱、壓力、穩定性、軟件兼容性等方面的測試要點進行了全面梳理。

由此看，《指南》從最終客戶和AI芯片合作伙伴的角度對于現有的OAI標準做了拾遺補缺，更細化、更具體、更完善。那么接下來的問題是，《指南》未來的前景如何？

產品與解決方案筑基，開放加速生態未來可期

說到《指南》未來的前景，在我們看來，所謂實踐出真知，用產品和解決方案說話才是硬道理。

據我們了解，目前有燧原科技、英特爾、浪潮信息等10余家OAI小組成員已經陸續開發了10余種符合開放加速規范的產品組合方案并已實現落地應用，越來越多的芯片、算力系統企業已經聚集在這個開放加速的生態之中。

例如早在2019年燧原科技發布第一代“邃思”芯片的同時發布了基于這款芯片云燧T11 PoC，這是國內第一個OAM模組。2021年燧原科技發布第二代“邃思芯片，以及基于這款芯片打造的一組云端AI訓練產品：云燧T20訓練加速卡，云燧T21訓練OAM模組。

2022年3月，浪潮信息與其聯合發布了“錢塘江”智算中心方案。該方案具有綠色低碳的獨特優勢，創新研發全球首臺開放加速模組液冷計算平臺，率先實現單節點8顆400W高性能AI芯片液冷散熱，支持中高溫水運行，采用先進變頻流量系統，大幅提高流量變化范圍、降低能耗，智算中心整體PUE低于1.1。單集群即可提供超過200P峰值AI算力（TF32），支持超強擴展能力，采用高帶寬、全互聯拓撲架構，跨節點互聯帶寬高達448GB/s，結合GCU-LARE 2.0多芯互聯技術，可實現千芯級大規模集群高速互聯，具備優異的線性加速比，支撐超千億參數巨量模型的高效、并行訓練。目前，該方案已在大型實驗室落地1280卡規模的全液冷AI訓練集群。

同年8月，壁仞科技發布首款通用GPU芯片BR100，以及符合OCP標準的OAM模組壁礪100，同時支持最高8卡全互連，最大板級功耗可達550W。同時，壁仞科技與浪潮信息共同發布基于8個壁礪100 OAM模組打造的海玄OAM服務器，其通過全互聯的模式，可以提供高達8PFLOPS的浮點峰值算力，支持PCIe Gen 5的CPU，并結合CXL互連協議，將CPU-GPU的訪存和數據搬移效率做到了極致。

而在今年剛剛過去的7月，英特爾正式于中國市場推出第二代Gaudi深度學習加速器——Habana?Gaudi?2，并聯合浪潮信息發布面向生成式AI領域創新開發的新一代 AI 服務器 NF7，其在6U空間支持8顆基于開放加速模組OAM高速互聯的Gaudi2 AI加速器，每顆Gaudi2芯片配置96GB HBM高速內存，共提供2.1Tbps的P2P互聯帶寬，支持全互聯拓撲，滿足大模型訓練張量并行的通信需求，搭載的2顆第四代至強處理器，支持AMX/DSA等AI加速引擎。

不知業內看到上述作何感想？我們看到的是從芯片，系統、集群，再到智算中心，基于OAM開放加速計算產品和解決方案不斷的精進和拓展，而這勢必使得基于《指南》的開放加速計算生態未來可期，AIGC應用可待。

寫在最后：不知是巧合，還是其他原因，《指南》發布之際，據相關媒體報道，百度、字節跳動、騰訊和阿里巴巴等互聯網企業正爭相訂購英偉達的高性能GPU芯片，即便是在加價的情況下，諸多企業也是“一芯難求”，由此看，單一GPU算力供需失衡相當嚴重。

與之形成鮮明對比的是，我們又看到許多AI芯片企業，尤其是國內AI芯片企業面臨缺乏系統平臺和標準支撐、導致適配難，開發成本高企，無法讓其創新產品更加快速、高效地部署和落地等窘境。

所幸的是，通過《指南》的發布，我們看到，開放加速規范的AI服務器可為AI芯片創新提供成熟的系統平臺支撐，幫助AI芯片廠商聚焦于芯片創新研發，實現更科學合理的產業分工，避免封閉技術生態存在的單點單線風險，推動智算產業生態健康發展；另一方面，基于開放加速工程實踐和成熟計算平臺總結的設計指南，可加速有競爭力的AI芯片的創新研發和落地部署，有效縮短開發適配周期，節省研發投入，為用戶提供可以用來支撐AIGC大模型訓練的多元算力解決方案，以多元算力之道破解當下AI算力供需難題。