GLM-4.6V開源，定義“行動多模態(tài)”新范式

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel推出邀請注冊獎勵活動，最高可得算力券+token包380元獎勵，歡迎參與和支持！

作為 GLM 系列在多模態(tài)方向上的一次重要迭代，GLM-4.6V 將訓(xùn)練時上下文窗口提升到 128k tokens，在視覺理解精度上達到同參數(shù)規(guī)模 SOTA，并首次在模型架構(gòu)中將Function Call（工具調(diào)用）能力原生融入視覺模型，打通從「視覺感知」到「可執(zhí)行行動（Action）」的鏈路，為真實業(yè)務(wù)場景中的多模態(tài) Agent 提供統(tǒng)一的技術(shù)底座。

智譜新發(fā)布、開源的GLM-4.6V 系列多模態(tài)大模型，共包含兩款模型：GLM-4.6V（106B-A12B）：面向云端與高性能集群場景的基礎(chǔ)版；GLM-4.6V-Flash（9B）：面向本地部署與低延遲應(yīng)用的輕量版。均已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

模型地址

https://wisemodel.cn/organization/ZhipuAI

在性能優(yōu)化之外，GLM-4.6V 系列相較于 GLM-4.5V降價 50%，API 調(diào)用價格低至輸入 1 元/百萬 tokens，輸出 3 元/百萬 tokens。

01.

原生多模態(tài)工具調(diào)用

傳統(tǒng)工具調(diào)用大多基于純文本，在面對圖像、視頻、復(fù)雜文檔等多模態(tài)內(nèi)容時，需要多次中間轉(zhuǎn)換，帶來信息損失和工程復(fù)雜度。

GLM-4.6V 從設(shè)計之初就圍繞「圖像即參數(shù)，結(jié)果即上下文」，構(gòu)建了原生多模態(tài)工具調(diào)用能力：

• 輸入多模態(tài)：圖像、截圖、文檔頁面等可以直接作為工具參數(shù)，無需先轉(zhuǎn)為文字描述再解析，減少鏈路損耗。

• 輸出多模態(tài)：對于工具返回的統(tǒng)計圖表、渲染后網(wǎng)頁截圖、檢索到的商品圖片等結(jié)果，模型能夠再次進行視覺理解，將其納入后續(xù)推理鏈路。

模型原生支持基于視覺輸入的工具調(diào)用，完整打通從感知到理解到執(zhí)行的閉環(huán)。這使得 GLM-4.6V 能夠應(yīng)對圖文混排輸出、商品識別與好價推薦、以及輔助型 Agent 場景等更復(fù)雜的視覺任務(wù)。

02.

典型場景

場景1：智能圖文混排與內(nèi)容創(chuàng)作

在內(nèi)容創(chuàng)作與知識分發(fā)場景中，GLM-4.6V 可以從多模態(tài)輸入中，自動構(gòu)建高質(zhì)量圖文輸出：無論是直接輸入圖文混雜的論文、研報、PPT，還是只給出一個主題，模型都能生成結(jié)構(gòu)清晰、圖文并茂的社交媒體內(nèi)容。

• 復(fù)雜圖文理解：接收包含文本、圖表、公式的文檔，準確抽取結(jié)構(gòu)化關(guān)鍵信息。

• 多模態(tài)工具調(diào)用：在生成內(nèi)容過程中，自動調(diào)用檢索/搜索類工具，為每一段落尋找候選圖片，或從原文中截取關(guān)鍵配圖。

• 圖文混排輸出與質(zhì)量控制：對候選圖片進行「視覺審核」，評估其與文字內(nèi)容的相關(guān)性與質(zhì)量，自動過濾無關(guān)或低質(zhì)圖片，輸出可直接用于公眾號、社交媒體或知識庫的結(jié)構(gòu)化圖文結(jié)果。

這一流程中，多模態(tài)理解、工具調(diào)用與質(zhì)量控制均由 GLM-4.6V 模型獨立在同一推理鏈路內(nèi)完成。

??案例1：僅輸入主題，生成圖文資訊

??案例2：輸入論文，生成圖文并茂的科普文章

場景2：視覺驅(qū)動的識圖購物與導(dǎo)購 Agent

在電商購物場景中，GLM-4.6V 模型可以獨立完成從「看圖」、「比價」、「生成導(dǎo)購清單」的完整鏈路。

• 意圖識別與任務(wù)規(guī)劃：用戶上傳一張街拍圖并發(fā)出「搜同款」等指令時，模型識別出購物意圖，并自主規(guī)劃調(diào)用image_search等相關(guān)工具。

• 異構(gòu)數(shù)據(jù)清洗與對齊：在京東、唯品會、拼多多等平臺返回的多模態(tài)、非結(jié)構(gòu)化結(jié)果基礎(chǔ)上，模型自動完成信息清洗、字段歸一化與結(jié)果對齊，過濾噪聲和重復(fù)項。

• 多模態(tài)導(dǎo)購結(jié)果生成：最終生成一張標準化 Markdown 導(dǎo)購表格，包含平臺與店鋪來源、價格、商品縮略圖、匹配度與差異說明，以及可直接跳轉(zhuǎn)的購買鏈接。

場景3：前端復(fù)刻與多輪視覺交互開發(fā)

智譜重點優(yōu)化了 GLM-4.6V 在前端復(fù)刻與多輪視覺交互修改方面的能力，幫助開發(fā)者縮短「設(shè)計稿到可運行頁面」的鏈路：

• 像素級前端復(fù)刻：上傳網(wǎng)頁截圖或設(shè)計稿后，模型可精準識別布局、組件與配色，生成高質(zhì)量 HTML / CSS / JS 代碼，實現(xiàn)接近像素級的頁面還原。

• 視覺交互調(diào)試：支持基于截圖的多輪視覺交互。用戶可以在生成的網(wǎng)頁截圖上圈選區(qū)域并發(fā)出自然語言指令（如「把這個按鈕向左移一點，顏色改成深藍」），模型自動定位并修正對應(yīng)代碼片段。

通過 GLM Coding Plan 的視覺 MCP 協(xié)議，這一能力可以集成進現(xiàn)有 IDE、設(shè)計工具或內(nèi)部工程平臺，大幅提升前端迭代效率。

場景4：長上下文的文檔與視頻理解

GLM-4.6V 將視覺編碼器與語言模型的上下文對齊能力提升至128k，模型擁有了“過目不忘”的長記憶力。在實際應(yīng)用中，128k上下文約等于150頁的復(fù)雜文檔、200頁PPT或一小時視頻，能夠在單次推理中處理多個長文檔或長視頻。

在下列案例中，用戶一次輸入 4 家上市公司的財報，GLM-4.6V 可以跨文檔統(tǒng)一抽取核心指標，并理解報表與圖表中的隱性信號，自動匯總成一張對比分析表，在長窗口條件下依然保持關(guān)鍵信息不丟失。

上述能力同樣適用于長視頻內(nèi)容的理解與定位：

在長視頻理解場景下，GLM-4.6V 既能對整段內(nèi)容進行全局梳理，又能結(jié)合時序線索做細粒度推理，精準定位關(guān)鍵時間點，例如自動完成一場足球比賽的進球事件與比分時間軸總結(jié)。

03.

同規(guī)模開源 SOTA

作為 GLM 系列在多模態(tài)方向上的一次重要迭代，GLM-4.6V 將訓(xùn)練時上下文窗口提升到128k tokens，在視覺理解精度上達到同參數(shù)規(guī)模 SOTA，并首次在模型架構(gòu)中將Function Call（工具調(diào)用）能力原生融入視覺模型，打通從「視覺感知」到「可執(zhí)行行動（Action）」的鏈路，為真實業(yè)務(wù)場景中的多模態(tài) Agent 提供統(tǒng)一的技術(shù)底座。

GLM-4.6V 在 MMBench、MathVista、OCRBench 等30+ 主流多模態(tài)評測基準上進行了驗證，較上一代模型取得顯著提升。在同等參數(shù)規(guī)模下，模型在多模態(tài)交互、邏輯推理和長上下文等關(guān)鍵能力上取得SOTA表現(xiàn)。其中 9B 版本的 GLM-4.6V-Flash 整體表現(xiàn)超過 Qwen3-VL-8B，106B 參數(shù) 12B 激活的 GLM-4.6V 表現(xiàn)比肩 2 倍參數(shù)量的 Qwen3-VL-235B。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看