![]()
Ollama 0.19 預覽版來了,這次直接抱上了蘋果 MLX 框架的大腿。
![]()
對用 Mac 跑本地大模型的用戶來說,這相當于給車換了套更省油的發(fā)動機——統(tǒng)一內存的調度效率明顯提升,緩存機制也做了重構。更實在的是新增了 NVFP4 壓縮格式支持,部分模型的內存占用直接砍了一截。
![]()
如果你用的是 M5 芯片的新 Mac,還能額外解鎖神經(jīng)網(wǎng)絡加速器,token 生成速度和首詞響應都有提升。不過這個功能目前門檻不低:統(tǒng)一內存至少 32GB,首批只支持阿里開源的 350 億參數(shù) Qwen3.5 模型。
實際體驗上,用 OpenClaw 這類私人助手、或者跑 Claude Code 和 Codex 寫代碼時,響應延遲會明顯改善。MLX 作為蘋果親生的機器學習框架,本來就是為了讓 Python 和 Swift 開發(fā)者能在本地高效跑 LLM,Ollama 這次算是把輪子裝對了位置。
有用戶升級后反饋,同樣跑 Qwen3.5,之前風扇狂轉的工況現(xiàn)在安靜了不少——對筆記本用戶來說,這可能比跑分數(shù)字更實在。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.