上海
品玩3月17日訊，Moonshot AI近日發布名為Attention Residuals（AttnRes）的全新架構概念，旨在革新基于Transformer的大語言模型信息處理機制。針對傳統殘差連接中各層輸出等權疊加導致信息模糊的局限，AttnRes引入深度注意力機制，允許網絡層動態選擇并加權組合先前層級的信息。
該方法將模型深度視為序列維度，使各層能主動檢索歷史特征，而非被動接收混合信號。此舉有效解決了深層網絡中隱藏狀態冗余及缺乏選擇性訪問的問題，顯著提升了模型在長上下文推理中的穩定性與效率。作為Kimi系列模型背后的技術突破，AttnRes體現了將注意力機制擴展至網絡層級結構的趨勢。
Moonshot AI持續通過架構創新推動大模型發展，其萬億參數混合專家系統已應用于復雜推理任務。AttnRes的提出標志著即使是最基礎的殘差組件，仍在向更 scalable、自適應的方向演進，為構建下一代高效能AI系統奠定理論基礎。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
