Megrez2.0打破終端“能效-空間-智能”的不可能三角

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。

當下，終端智能面臨著“能效-空間-智能”的不可能三角：以DeepSeek-R1為例，其參數規模高達6710億，超出了大部分筆記本電腦的內存容量；即使勉強在一臺筆記本電腦上成功運行滿血版模型，理論上堅持不到9分鐘就會耗盡電池；如果通過蒸餾，將滿血版模型壓縮到更小尺寸，此時的精度損失又可能滿足不了智能水平的要求。

針對上述挑戰，無問芯穹發布終端本征大模型Megrez2.0，它在實現21B參數，也就是云端級智能水平的同時，將實際計算量控制在3B、內存占用控制在7B規模，從而可以完美地適配當下的各類終端設備，打破了終端“能效-空間-智能”的不可能三角。Megrez2.0已上線始智AI-wisemodel開源社區，歡迎大家前去體驗。

模型地址

https://wisemodel.cn/models/Infinigence/Megrez2-3x7B-A3B-Preview

01.

模型特點

終端本征架構

傳統稠密模型在端側的黃金尺寸是3B，這個尺寸即可以較好的契合端側有限的算力和存儲，又具有基礎的智能水平。但若繼續增大尺寸，端側的推理速度會快速下降。

如何讓3B的算力發揮更大的智能？主流的方式是MoE，即通過參數冗余和動態激活，為模型精度加杠桿。例如一個總參數量21B，激活參數量3B大小的模型，雖然只有3B計算量，但理論精度潛力高達21B，實際也有7~14B的精度表現。但這21B的總參數量對于端側太過巨大，如果全部放在外存，外存較低的帶寬速率會帶來Decode速度指數級下降，而如果限制模型激活參數的locality將部分參數放入內存，又會與MoE的動態多樣性與平衡性相違背，帶來精度下降。

無問芯穹本次提出的終端本征架構，引入了重參數機制，將若干個相鄰MoE層劃成一組，復用Expert專家參數。這樣一個原本30層MoE層的模型，原始總參數量21B。現在每3層共享參數相互復用，模型的實際總參數量下降到21/3即7B大小，但激活可用的專家池空間仍為21B。

此外，本次發布的Megrez 2.0為Preview版本，雖然訓練數據量只有5T Tokens，但已表現出優異的精度潛力。相較于國內外主流的端側模型，我們的模型速度相比同內存占用的模型快50%，精度比同尺寸稠密模型提升36%，內存則是比同精度模型節約75%，真正做到高能效、少內存、高智能。

Benchmark

Megrez2-3x7B-A3B-Preview

Qwen3-8B

Phi-4-mini

MMLU-Pro

67.6

52.8

IF-Eval

80.2

83

68.6

02.

模型應用

當端側級算力撬動起云側級模型的智能水平，智能體等AI應用將得以在端側釋放更大的能動性。由Megrez2.0加持的終端設備，代理任務處理準確率高達95%，復雜代理任務端側處理時間只需不到3分鐘。此外，Megrez2.0還通過巧妙的工程設計，賦予終端設備更強的能動性，使設備在用戶無感知的“休眠時段”里，也能持續創造價值。

發布會現場，Megrez2.0的研發團隊為大家帶來了一個令人激動的演示——用戶在電腦合蓋之前給出語音指令“整理今日會議記錄”。電腦合蓋后，系統自動調度閑置CPU周期執行后臺任務，等任務完成后，則自動釋放內存并轉入待機。喚醒設備時，整理好的會議紀要已完整呈現在電腦上，算力亦能瞬時恢復滿血狀態，并且全程無喚醒、無聯網、無發熱。

編輯丨趙雅鑫

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。