上海
品玩3月13日訊，據(jù)英偉達(dá)官方消息，NVIDIA正式推出Nemotron 3 Super——一款面向復(fù)雜多智能體推理任務(wù)的開源大語言模型。該模型總參數(shù)達(dá)1200億，激活參數(shù)為120億，采用創(chuàng)新的混合Mamba-Transformer架構(gòu)與稀疏專家混合（MoE）機(jī)制，在保持高吞吐的同時(shí)支持百萬級(jí)token上下文窗口。
Nemotron 3 Super引入多項(xiàng)關(guān)鍵技術(shù)：Latent MoE通過低秩投影壓縮路由開銷，使專家調(diào)用數(shù)量提升4倍；多詞元預(yù)測(cè)（MTP）技術(shù)實(shí)現(xiàn)單次前向生成多個(gè)詞元，顯著加速長序列輸出；模型全程以NVIDIA自研NVFP4格式進(jìn)行原生預(yù)訓(xùn)練，適配Blackwell架構(gòu)，在B200上推理速度較H100提升4倍。
該模型已在PinchBench基準(zhǔn)測(cè)試中取得85.6%的綜合得分，為當(dāng)前同類開源模型最優(yōu)。NVIDIA同步開放完整權(quán)重、訓(xùn)練數(shù)據(jù)集及部署方案，支持vLLM、SGLang和TensorRT-LLM等主流推理引擎，并提供LoRA微調(diào)與強(qiáng)化學(xué)習(xí)對(duì)齊工具鏈，助力開發(fā)者高效定制與部署。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
