北京
鳳凰網(wǎng)科技訊 3月17日，Kimi官方賬號回應(yīng)馬斯克對其最新成果的點贊，稱“你的火箭造得也不錯”。
據(jù)報道，近日，Kimi團(tuán)隊發(fā)布技術(shù)報告，提出全新Attention Residuals（注意力殘差）機(jī)制，對深度學(xué)習(xí)領(lǐng)域沿用近十年的傳統(tǒng)殘差連接實現(xiàn)顛覆性重構(gòu)，迅速獲得全球關(guān)注。
傳統(tǒng)殘差連接以“固定等權(quán)累加”傳遞信息，層數(shù)增加易導(dǎo)致淺層信息稀釋、訓(xùn)練效率低、穩(wěn)定性差。
而Kimi的創(chuàng)新相當(dāng)于給AI裝了“智能篩選器”，將Transformer注意力機(jī)制遷移到模型深度維度，讓每一層動態(tài)篩選此前有用信息、壓低冗余，提升傳遞效率。
實測顯示，48B參數(shù)模型訓(xùn)練效率提升1.25倍，科學(xué)推理、數(shù)學(xué)題作答成績分別提升7.5%、3.6%，有效解決傳統(tǒng)模型訓(xùn)練失衡問題。
以挑剔著稱的馬斯克轉(zhuǎn)發(fā)研究并評論“Kimi的作品令人印象深刻”，其旗下xAI正處重組期，此次認(rèn)可足見技術(shù)分量。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
