終于發了！DeepSeek發布并開源V3.1，迄今為止最強大的開放AI

DeepSee k宣布推出新一代開源大語言模型DeepSeek-V3.1，并將其權重和代碼在 GitHub等平臺上開放。

這一模型延續了DeepSeek-V3的強大能力，并在多個關鍵方面進行了升級。

01｜模型參數與架構

DeepSeek-V3.1采用了改進的Transformer架構，總參數規模達到約6850億。

其中采用了Mixture-of-Experts（MoE）稀疏專家方案，每個token推理時激活約370億參數。

值得一提的是，DeepSeek-V3.1取消了傳統MoE所需的負載均衡損失，避免了額外開銷。

同時引入多token預測訓練目標，進一步增強模型性能。

在訓練過程中，DeepSeek團隊使用了FP8混合精度和自研的DualPipe流水線并行算法，在2048張NVIDIA H800 GPU上完成了14.8萬億token的預訓練，整個過程穩定高效，沒有出現不可恢復的損失激增。

02｜上下?窗?擴展

DeepSeek-V3.1最大的改進在于上下文長度的顯著擴展。

新版本將模型的上下文窗口提升到128K tokens（約相當于300頁文本）。

這意味著模型在一次交互中可以處理和記憶遠超以往的信息量，能夠支持更長的對話和更大規模的文檔分析。

為了實現超長上下文，DeepSeek采用了名為YaRN（Yet another Random Noise）的位置編碼擴展方案。

通過在長上下文訓練中引入隨機噪聲擾動，模型在保持長程依賴建模能力的同時，有效緩解了長序列訓練的不穩定問題。

實際測試顯示，DeepSeek-V3.1在不同長度上下文下表現穩健，即使輸入長達128K tokens時依然能夠準確定位關鍵信息。

03｜性能表現

憑借更大的參數規模和優化的訓練策略，DeepSeek-V3.1在各項基準測試中表現優異。

綜合評估顯示，它不僅超越了此前所有開源模型的水平，而且在許多任務上達到了與領先閉源模型相當的性能。

例如， 在知識問答和推理測試（MMLU-Pro等） 上， DeepSeek-V3.1的準確率達到75.9%。

在數學和代碼領域，該模型更是展現出強大實力：在MATH數學題基準上準確率超過90%。

在Codeforces編程競賽評測中，其解題能力達到前51.6百分位，大幅領先其他開源模型。

在長文檔理解的“大海撈針”（NeedleInAHaystack）測試中，DeepSeek-V3.1在不同長度上下文下均能保持高準確率，展現了擴展至128K后的穩健表現。

總體而言，DeepSeek-V3.1被認為是目前最強大的開源大模型。

04｜開源與獲取?式

DeepSeek-V3.1延續了DeepSeek一貫的開放策略，將模型權重和代碼完全開源發布。

開發者可以在GitHub、Hugging Face等平臺獲取模型權重及推理代碼。

DeepSeek官方還提供了多種本地部署方案和推理工具，包括輕量級的FP8/BF16推理演示、社區優化的推理框架（如LMDeploy、 vLLM等）以及分布式推理實現。

對于不具備大規模算力的用戶，DeepSeek在其官方平臺上提供了在線體驗和API接口。用戶現在可以通過網頁端、對V3.1模型進行使用。