如何把開源AI大模型的“智能密度”繼續往上推?
@月之暗面 Kimi 創始人楊植麟的答案是三個概念(圖二):
1?? Token Efficiency(Token效率)
2?? Long Context(長上下文)
3?? Agent Swarms(智能體集群)
在英偉達GTC大會上,楊植麟首次系統披露了Kimi K2.5的技術路線圖,提出通過“Token效率、長上下文與智能體集群”三維共振實現模型能力躍升。
針對傳統優化器瓶頸,團隊研發MuonClip優化器,在萬億參數訓練中成功抑制數值爆炸,使token處理效率較AdamW提升一倍。
在長上下文領域,Kimi Linear架構采用混合注意力機制,將128K至1M范圍內的解碼速度提升5至6倍,實現了從“支持長文本”到“高效利用長文本”的轉變。
此外,月之暗面Kimi團隊重構了沿用十年的殘差連接,提出Attention Residuals機制,使深層網絡能按需檢索信息而非簡單堆疊,該成果已開源并獲Andrej Karpathy等專家高度評價。
楊植麟還指出,多模態視覺強化學習可反向增強純文本推理能力。未來Kimi將從單智能體轉向動態生成的智能體集群(Agent Swarms),通過并行協作大幅縮短復雜任務執行時間,重塑人工智能規模化應用范式。
#科技愛好者必讀 #AI技術前沿 #人工智能新突破
![]()
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.