品玩3月13日訊,據(jù)英偉達(dá)官方消息,NVIDIA正式推出Nemotron 3 Super——一款面向復(fù)雜多智能體推理任務(wù)的開源大語言模型。該模型總參數(shù)達(dá)1200億,激活參數(shù)為120億,采用創(chuàng)新的混合Mamba-Transformer架構(gòu)與稀疏專家混合(MoE)機(jī)制,在保持高吞吐的同時(shí)支持百萬級(jí)token上下文窗口。
Nemotron 3 Super引入多項(xiàng)關(guān)鍵技術(shù):Latent MoE通過低秩投影壓縮路由開銷,使專家調(diào)用數(shù)量提升4倍;多詞元預(yù)測(cè)(MTP)技術(shù)實(shí)現(xiàn)單次前向生成多個(gè)詞元,顯著加速長序列輸出;模型全程以NVIDIA自研NVFP4格式進(jìn)行原生預(yù)訓(xùn)練,適配Blackwell架構(gòu),在B200上推理速度較H100提升4倍。
該模型已在PinchBench基準(zhǔn)測(cè)試中取得85.6%的綜合得分,為當(dāng)前同類開源模型最優(yōu)。NVIDIA同步開放完整權(quán)重、訓(xùn)練數(shù)據(jù)集及部署方案,支持vLLM、SGLang和TensorRT-LLM等主流推理引擎,并提供LoRA微調(diào)與強(qiáng)化學(xué)習(xí)對(duì)齊工具鏈,助力開發(fā)者高效定制與部署。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.