AutoGLM開源，首個具備“手機使用”能力的AI Agent

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel推出邀請注冊獎勵活動，最高可得算力券+token包380元獎勵，歡迎參與和支持！

過去很長一段時間里，行業(yè)內(nèi)始終圍繞著一個核心問題展開思考：如果 AI 真的能成為 “助手”，它能否像人類一樣，拿起手機將一件事從頭做到尾？

在大眾的想象中，AI 不該只局限于聊天框內(nèi)的文字交互，更應(yīng)走進(jìn)用戶日常依賴的各類 App 里：既能在外賣軟件中完成從選品到下單的全流程，也能在云手機中批量處理通知、點贊評論，還能在銷售、客服、出勤等場景中，自動完成那些重復(fù)繁瑣、讓人不愿手動操作的任務(wù)。AutoGLM 團(tuán)隊做的正是讓 AI 真正掌握 “使用手機” 的能力。AutoGLM已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

模型地址

https://wisemodel.cn/models/ZhipuAI/AutoGLM-Phone-9B

https://wisemodel.cn/models/ZhipuAI/AutoGLM-Phone-9B-Multilingual

01.

為行業(yè)構(gòu)建公共底座

從產(chǎn)品層面看，AutoGLM 已能支撐多個真實場景；從技術(shù)積累來看，其成果足以形成多份深度技術(shù)報告。而在這樣的節(jié)點選擇開源，團(tuán)隊有著三重明確的考量：

1. 打破少數(shù)廠商的技術(shù)壟斷

AI 手機已是行業(yè)明確趨勢，但如果 “AI 使用手機的核心能力” 僅被少數(shù)廠商掌握，將直接限制開發(fā)者的創(chuàng)新空間 —— 開發(fā)者的產(chǎn)品迭代需依賴平臺開放接口，用戶的核心設(shè)備也可能逐漸淪為 “他人的入口”。AutoGLM 開源的首要初衷，便是將這一核心能力轉(zhuǎn)化為全行業(yè)可共享、可打磨的公共底座。無論是將其作為積木嵌入自有系統(tǒng)，還是拆解、重寫、改造，每個開發(fā)者和團(tuán)隊都能將其化為自身產(chǎn)品的一部分，讓 AutoGLM 從 “智譜的技術(shù)” 變?yōu)?“行業(yè)的工具”。

2. 讓隱私與控制權(quán)留在使用方手中

Phone Use 能力的規(guī)模化應(yīng)用，必然觸及個人微信、支付信息、聊天記錄、企業(yè)內(nèi)部系統(tǒng)等敏感領(lǐng)域。AutoGLM 團(tuán)隊認(rèn)為，這些核心數(shù)據(jù)不應(yīng)由技術(shù)提供方掌控。通過開源與私有化部署，企業(yè)和開發(fā)者可在自身合規(guī)環(huán)境中，完整掌控數(shù)據(jù)、日志和權(quán)限，讓手機真正成為 “專屬 AI 手機”。正如團(tuán)隊所強調(diào)的：“技術(shù)向整個生態(tài)開放，數(shù)據(jù)與隱私永遠(yuǎn)留在使用方這一側(cè)。”

3. 降低行業(yè)創(chuàng)新門檻

AutoGLM 的研發(fā)之路充滿挑戰(zhàn)，團(tuán)隊啃下的技術(shù)難題、踩過的坑、重寫的框架，在諸多場景中都具備復(fù)用價值。但 “一花獨放不是春”，Agent 技術(shù)的全面爆發(fā)，需要全行業(yè)的共同參與。團(tuán)隊期待看到：

• 有團(tuán)隊基于 AutoGLM 打造真正的 AI 原生手機；

• 有研究者拆解其中模塊，形成新論文、新算法；

• 有個人開發(fā)者將 Demo 轉(zhuǎn)化為實際項目，在小眾場景中落地應(yīng)用。

他們的最終愿景是：從開源之日起，人人都能擁有自己的手機 Agent。

02.

從 “亂點” 到 “可控” 的技術(shù)突破

自2023年4月起，AutoGLM 團(tuán)隊便從零起步，開啟長達(dá)32個月的技術(shù)探索。他們的核心目標(biāo)很明確：讓 AI 不僅能 “說”，更能 “做”。

1. 從 “亂點的手” 到 “可控的手”

最初的版本中，基于大模型構(gòu)建的系統(tǒng)僅能執(zhí)行 “點擊”“滑動” 等基礎(chǔ)操作，偶爾能完成短流程任務(wù)，更多時候會陷入無意義的操作或死循環(huán)。為解決這一問題，團(tuán)隊耗時近一年梳理問題、搭建框架：

• 構(gòu)建了完整的 Phone Use 能力框架；

• 抽象出點擊、滑動、輸入、截圖、界面理解等基礎(chǔ)動作；

• 讓模型學(xué)會將自然語言指令拆解為穩(wěn)定、可回放的操作步驟；

• 成功處理網(wǎng)絡(luò)波動、彈窗打斷、廣告遮擋等真實場景中的 “臟信息”。

2024 年 10 月 25 日，團(tuán)隊發(fā)布了首個能在真機上穩(wěn)定完成完整操作鏈路的 AutoGLM，該產(chǎn)品也被業(yè)內(nèi)認(rèn)定為全球首個具備 Phone Use 能力的 AI Agent。

2. 人類歷史上第一個 AI 發(fā)出的手機紅包

2024 年 11 月，AutoGLM 實現(xiàn)了一項標(biāo)志性突破 —— 發(fā)出人類歷史上第一個由 AI 獨立完成的手機紅包。這一操作并非依賴腳本錄制或內(nèi)嵌 API 調(diào)用，而是 AI 通過 “看見” 屏幕界面、“理解” 功能含義，一步步手動點擊完成。這一成果向行業(yè)傳遞了明確信號：手機上的諸多交互場景，首次可以完全由 AI 獨立接手。

3. 升級至云手機：安全優(yōu)先的技術(shù)演進(jìn)

2025 年，AutoGLM 2.0 正式發(fā)布。團(tuán)隊驗證了強化學(xué)習(xí)的規(guī)模擴展定律，提出 MobileRL、ComputerRL 和 AgentRL 算法，讓 AI 能在數(shù)千個虛擬設(shè)備環(huán)境中同時進(jìn)行強化學(xué)習(xí)，大幅提升了 Agent 的準(zhǔn)確性和泛化能力。

更值得關(guān)注的是，為保障用戶隱私安全，團(tuán)隊并未讓 Agent 直接操作用戶的真實手機或核心 App，而是將其部署在與真實世界隔離的云端虛擬手機中：

• 所有操作均可回放、審計和干預(yù)；

• 敏感數(shù)據(jù)實現(xiàn)嚴(yán)格隔離；

• 主動放棄了微信等涉及用戶隱私的高頻 App 操作權(quán)限。

這一設(shè)計背后的邏輯清晰而務(wù)實：在讓 AI “會用手機” 之前，先確保它 “不會亂伸手”。

03.

一套 “拿來就用” 的完整能力

此次開源提供了一整套可直接落地的技術(shù)工具，具體包括：訓(xùn)練完成的核心模型；Phone Use 能力框架與工具鏈；覆蓋 50 + 高頻中文 App 的可直接跑通 Demo；針對 Android 系統(tǒng)的適配層與示例工程；詳細(xì)文檔與快速上手指南。

其中，模型以 MIT 開源許可證開放，所有代碼以 Apache-2.0 許可證托管于 GitHub 倉庫。開發(fā)者既可將其作為現(xiàn)成的基礎(chǔ)設(shè)施直接使用，也可按需拆用部分模塊，甚至進(jìn)行徹底改造，核心目標(biāo)是幫助每個使用者更接近心目中的 “AI 原生手機”。

當(dāng)前的 AutoGLM 并非完美答案，真實世界的手機應(yīng)用場景復(fù)雜多樣，它尚未完全覆蓋；未來的 AI 手機生態(tài)，也可能出現(xiàn)遠(yuǎn)超當(dāng)下想象的形態(tài)。而 AutoGLM 團(tuán)隊所做的，只是將對 “AI 會不會用手機” 這一問題的一次完整探索，誠實、完整地交到行業(yè)手中。

正如 Andrej Karpathy 所言，從 AutoGLM 開源開始，人人都能擁有自己的手機 Agent。我們面臨的或許不只是 “Agent 元年”，更是 “Agent 的十年”。接下來，AutoGLM 團(tuán)隊將持續(xù)深耕技術(shù)，也期待與全行業(yè)共同推動 Agent 開源生態(tài)的發(fā)展。唯有如此，那個存在于想象中的 “賈維斯”，才會真正走進(jìn)每個人的生活。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團(tuán)隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看