iPhone 17 Pro成功運(yùn)行4000億參數(shù)大模型，但速度令人抓狂

IT之家 3 月 23 日消息，擁有 4000 億參數(shù)的大語言模型只能在配備大容量內(nèi)存、性能強(qiáng)勁的硬件上運(yùn)行，因?yàn)榧词故橇炕驂嚎s版本，也至少需要 200GB 內(nèi)存。從這些苛刻的配置要求來看，iPhone 17 Pro 絕對(duì)不會(huì)是運(yùn)行 4000 億參數(shù)大模型的首選，但有人已經(jīng)證明，蘋果這一代旗艦機(jī)型完成了這件看似不可能的事。不過IT之家需要說明的是，這離不開一些巧妙的技術(shù)手段。

一個(gè)名為 Flash?MoE 的開源項(xiàng)目已在 iPhone 17 Pro 上成功運(yùn)行，據(jù)網(wǎng)友 @anemll 展示，這款旗艦機(jī)雖然能運(yùn)行這個(gè)算力需求極高的模型，但也存在明顯短板，其 Token 生成速度慢得驚人，僅 0.6 個(gè) Token / 秒，大約每 1.5 到 2 秒才能生成一個(gè)單詞。

不過話又說回來，無論速度如何，一部智能手機(jī)能跑起來 4000 億參數(shù)的大語言模型，這一事實(shí)本身就說明：只要再做一些優(yōu)化，未來在手機(jī)端本地運(yùn)行大語言模型完全是有可能實(shí)現(xiàn)的。

至于實(shí)現(xiàn)原理：iPhone 17 Pro 僅配備 12GB LPDDR5X 內(nèi)存，根本不可能把整個(gè)大模型全部載入內(nèi)存，而 Flash?MoE 則利用了設(shè)備的固態(tài)硬盤（SSD），直接向 GPU 流式傳輸數(shù)據(jù)。此外，“MoE”代表混合專家模型（Mixture of Experts），這意味著其每生成一個(gè)單詞，只需要調(diào)用 4000 億參數(shù)中的一小部分。

在本地運(yùn)行大語言模型還有一個(gè)好處：完全保護(hù)隱私，且無需聯(lián)網(wǎng)就能獲得回復(fù)，只不過 iPhone 17 Pro 的電池會(huì)被嚴(yán)重消耗。開發(fā)者們也會(huì)使用大語言模型的壓縮版，也就是“量化版”，但即便是量化后的 4000 億參數(shù)模型，最低仍需 200GB 內(nèi)存，這在 iPhone 17 Pro 上原本是無法實(shí)現(xiàn)的。

簡而言之，這次最新演示證明：只要你能忍受每秒僅 0.6 個(gè) Token 的緩慢生成過程，就可以在智能手機(jī)上運(yùn)行 4000 億參數(shù)的大語言模型。但也要清楚，“能跑起來”和“能流暢、可用地使用”完全是兩碼事。