Meta開源Llama4!超越DeepSeek,驚人千萬token上下文,Llama 4實測

一場突如其來的發布

Meta在沒有事先預警的情況下，突然發布了Llama 4系列模型。Meta這次一口氣推出了三款不同規模的模型：Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth，每款模型都采用了混合專家（MoE）架構，支持多模態輸入，并且擁有令人驚嘆的超長上下文窗口。

從0到1：Llama 4的革命性架構

MoE架構：AI的新范式

Llama 4最引人注目的特點是全面采用了混合專家（MoE）架構。與傳統的密集模型不同，在MoE架構中，每個token只會激活總參數的一小部分。這種架構設計使得模型在保持高性能的同時，大大降低了計算成本。

以Llama 4 Maverick為例，它擁有4000億總參數，但每次推理時僅激活約170億活躍參數。這意味著模型可以根據具體任務的需求，動態地選擇最相關的"專家"來處理，既提高了效率，又保持了性能。

超長上下文窗口：打破限制

Llama 4 Scout版本支持驚人的1000萬token上下文窗口，相當于可以處理20+小時的視頻內容或15000頁的文本。相比之下，Llama 4 Maverick的上下文窗口為100萬個token，也相當于約1500頁的文本。

這種超長上下文能力的背后，是Llama 4采用的創新iRoPE擴展技術，支持"無限"上下文長度目標。這種技術使得模型能夠處理極長的文本序列，為長文檔分析、復雜推理等應用場景提供了強大的支持。

原生多模態融合：打破模態界限

Llama 4是原生多模態模型，采用早期融合（Early Fusion）技術，可以無縫整合文本和視覺標記到統一的模型主干中。這意味著Llama 4不僅能夠處理文本輸入，還能理解和處理圖像等多模態數據。

三款模型，各有千秋

Llama 4 Scout：輕量高效

Llama 4 Scout擁有170億激活參數和1090億總參數，內部包含16個專家。它的設計目標是輕量且快速響應，特別適合那些無法獲取大型GPU集群的開發者和研究人員。Scout模型可以在單張H100 GPU（Int4量化后）上運行，大大降低了使用門檻。

Scout版本支持1000萬上下文，相當于可以處理20+小時的視頻，僅在單個H100 GPU（Int4 量化后）上就能跑。在基準測試中，性能超越Gemma 3、Gemini 2.0 Flash-Lite和MI-30等模型。

Llama 4 Maverick：強大性能

Llama 4 Maverick擁有170億激活參數和4000億總參數，包含128個專家。它在圖像和文本理解方面表現出色，是多語言AI應用和創意寫作的理想選擇。

Maverick在某些基準測試中表現超過了DeepSeek V3，成為開源模型的新一代國外霸主。它在創意寫作、多模態應用等方面表現出色，但也有用戶反饋，在前端界面生成等任務中效果不如DeepSeek V3（2024年3月版）。

Llama 4 Behemoth：巨頭降臨

Llama 4 Behemoth擁有2880億激活參數和2萬億總參數，采用16個專家。這是目前最大的開源模型之一，性能目標是超越當前的閉源頂尖模型如Gemini 2.5 Pro和GPT-4.5。不過，目前Behemoth還在訓練中，處于預覽階段。

實際應用與用戶體驗

數學能力：有待提高

根據實際測試，Llama 4在數學能力方面表現平平，與DeepSeek V3相比有一定差距。在一項數學測試中，Llama 4的表現不如DeepSeek V3，這表明在特定領域的能力上，Llama 4還有提升空間。

編碼能力：有待優化

在編碼能力方面，Llama 4也存在一些問題。在一項測試中，要求模型根據給定的文本進行HTML網頁編寫時，Llama 4的效果比DeepSeek V3差很多。Maverick寫出了HTML代碼，但效果太差，而Scout甚至沒有理解指令，只寫了一個Markdown。

多模態應用：潛力巨大

盡管在某些特定領域表現一般，但Llama 4的多模態能力非常出色。它能夠同時處理文本、圖像和視頻等多種模態的數據，為復雜的應用場景提供了可能。

例如，在電商領域，Llama 4可以通過分析商品圖片和用戶評論，生成精準的商品推薦，從而提升用戶體驗并促進銷售轉化。在醫療領域，開發者可以基于Llama 4開發智能醫療助手，幫助醫生更準確地診斷疾病和制定治療方案。