GPU用量削減82%，阿里云這項技術神了！

作者｜子川

來源｜AI先鋒官

阿里云搞了個省錢大招！

最近，阿里云提出的計算池化技術“C"成功入選了頂級學術會議SOSP 2025，目前，該核心技術已應用在阿里云百煉平臺。

SOSP全稱為操作系統(tǒng)原理研討會（Symposium on Operating Systems Principles），又被稱為“操作系統(tǒng)界的奧斯卡”，以其極低的論文錄用率而聞名。

平均每年收錄的論文數(shù)量僅有數(shù)十篇，能入選的都是行業(yè)里最前沿的科研突破。

那么Aegaeon為什么能入選呢？

其核心在于大幅度提升GPU資源的利用效率。

在AI飛速發(fā)展的今天，全球模型數(shù)量與日俱增，目前單Hugging Fac平臺就已托管了超100萬個模型。

但是在實際使用中，僅有少量熱門模型才會被用戶大量使用，而很多模型的使用量非常低，甚至有些模型一年的使用次數(shù)不足100次。

現(xiàn)在通常的做法是：哪怕一個模型再冷門，至少要給它單獨留一塊GPU供它使用。

結(jié)果就是造成大量的GPU資源的浪費。

有數(shù)據(jù)顯示，在阿里云模型市場中，曾有17.7%的GPU算力僅用于處理1.35%的請求。

而阿里發(fā)布的Aegaeon就能非常好的解決這個問題。

它的核心理念是GPU池化，該技術打破了“一個模型綁定一塊GPU”的傳統(tǒng)低效模式。

簡單來說，就是把那些原本分散的GPU資源，匯聚成一個大池子，然后通過一套精妙的調(diào)度系統(tǒng)，讓不同的AI模型可以在這個池子里共享GPU算力，而不是過去每款模型至少獨占一塊GPU。

不僅如此，Aegaeon還實現(xiàn)了“token級調(diào)度”。

可能大家對token級調(diào)度不太理解，這里給大家簡單介紹一下。

Token是AI模型處理和生成文本的最小單位，類似于一個漢字或一個字母，AI模型回復時，其實是一個一個token蹦出來的過程。

Aegaeon能在大模型每生成一個token的極短的瞬間，會快速評估 GPU 的負載和排隊情況。

并決定是繼續(xù)讓當前模型生成下一個 token，還是把接下來的計算時間優(yōu)先安排給隊列里更緊急的模型，切換速度非常快，達到了亞秒級。

同時通過組件復用、顯存精細化管理和KV緩存同步優(yōu)化等全棧技術，Aegaeon將模型切換開銷降低97%。

根據(jù)阿里云團隊介紹，目前Aegaeon系統(tǒng)支持單GPU同時服務多達7個不同模型，相比現(xiàn)有主流方案提升1.5-9倍的有效吞吐量，實現(xiàn)2-2.5倍的請求處理能力。

在實際測試中，Aegaeon的表現(xiàn)十分優(yōu)異。

在阿里云百煉平臺上為期超過三個月的Beta測試中。

結(jié)果顯示：在服務數(shù)十個參數(shù)量高達720億的大模型時，原本需要1192塊英偉達H20GPU才能支撐的算力，現(xiàn)在只需要213塊就夠了。

GPU用量直接削減了82%！

這意味著硬件采購 和運營成本將得到顯著降低，這對于動輒需要成千上萬張GPU的大模型服務商而言至關重要。

Aegaeon的成功也揭示了未來 AI 發(fā)展的一個重要方向，僅僅依賴硬件算力的增長是遠遠不夠的，通過系統(tǒng)級的軟件創(chuàng)新來深度挖掘現(xiàn)有硬件的潛力同樣至關重要。

掃碼邀請進群，我們帶你一起來玩轉(zhuǎn)ChatGPT、GPT-4、文心一言、通義千問、訊飛星火等AI大模型，順便學一些AI搞錢技能。

往期文章回顧