探針伸進大模型黑箱，南加州大學華人打造AI記憶研究的深空望遠鏡

現在擺在面前的是 64 個 A100 組成的算力集群，如果給你 20 萬小時的訓練時間，你會用它做什么？南加州大學的 Robin Jia 教授團隊給出了他們的答案：訓練一組模型，把它們開源，讓更多人有機會深入理解大模型記憶的本質。

大語言模型（LLM）在預訓練階段對訓練數據集的精確記憶會帶來一系列安全風險：《紐約時報》起訴 OpenAI 侵犯版權；黑客通過特定提示詞套出訓練集中的個人真實郵箱與電話；訓練數據污染導致某些模型在各類權威基準測試（Benchmark）中得分虛高……但長期以來，由于難以精準控制訓練數據集，探究大模型記憶的深層因果機制依然面臨重重限制。

為了從量化并解決這一棘手難題，南加州大學（USC）與馬克斯·普朗克軟件系統研究所（MPI-SWS）等機構的研究團隊，借助英偉達提供的海量計算資源，構建出一組基于 Llama 3 架構的全開源受控大模型，并將其命名為 Hubble。這項成果即將在 4 月底舉辦的機器學習頂會 ICLR 2026 上亮相，相關數據與代碼均已完全開源。

圖 | Robin Jia（來源：https://robinjia.github.io/）

從觀察到主動干預，Hubble 構建出模型記憶的“雙面鏡”

提到 Hubble，人們最先想到的一定是哈勃太空望遠鏡，而這項開源工作與它的重名并非巧合。研究的主要貢獻者，南加州大學博士生魏天正告訴 DeepTech，他們將模型命名為“Hubble”的初衷正來源于此：“大模型就像深邃復雜的宇宙，我們則是航天工程中的‘儀器科學家’，在 Hubble 模型中構建并搭載特定的‘探測儀器’，再將它發射升空，以此精確觀測各種各樣的現象。”

在 Hubble 之前，學術界研究大模型記憶動態的標桿是 Pythia，這是一組 EleutherAI 團隊于 2023 年發布的模型套件，他們當時開源了訓練數據和中間檢查點，發布后便迅速成為研究大模型可解釋性、記憶研究和基準設計的標準參考工具。截至目前，Pythia 已獲得近 2,000 引用。

（來源：https://allegro-lab.github.io/hubble/）

然而，Pythia 的訓練數據來源于天然的互聯網語料，這導致研究人員無法進行精確的因果推斷。例如，當 Pythia 復述出一段文本時，研究者們依然無法確定這是因為文本結構簡單，還是因為其在訓練集中出現的頻次足夠高。

為解決缺乏對照組的問題，Hubble 團隊采用了“受控擾動”的研究方法。在實驗設計上，團隊首先對包含 100B 至 500B Token 的基座語料進行了嚴格的過濾處理，剔除潛在的敏感匹配項。

隨后，他們人工合成了三類“誘餌數據”，并將其精確植入擾動模型的訓練集中：一類是受版權保護的暢銷書片段、冷門書片段及維基百科詞條；第二類則是通過 YAGO 知識圖譜合成的包含姓名、郵箱、出生地等關聯屬性的結構化個人簡歷，以及歐洲人權法院的真實案卷。他們還為模型注入了 MMLU、HellaSwag 等模型通用基準測試的原題及正確答案。此外，團隊也嚴格控制了這些“誘餌”在模型訓練數據集中的重復頻次。

投入 100 萬美元算力，研究揭示大模型記憶效應

在當前的科研環境中，算力資源的獲取是制約高校團隊開展大規模預訓練的核心瓶頸。而 Hubble 系列模型包含了 8 個分別為 1b、8b 參數，并分別在 100B 和 500B Token 上進行訓練的標準模型和擾動模型。其基本性能與市面同等規模水平的模型持平，訓練數據量則是 Pythia 的 1.6 倍。

談及獲取算力支援的過程時，魏天正透露，團隊在 2024 年得知，美國國家科學基金會（NSF）主導的 NAIRR 試點項目正在為有潛力的 AI 學術研究團隊對接企業算力。憑借對 Hubble 的初步設想，他們獲得了英偉達捐贈的 20 萬小時、64 個 A100 GPU 算力，市場價值高達 100 萬美元。魏天正向 DeepTech 回憶了這段堪稱“夢幻”的經歷，“其實一開始根本沒想到會拿到這么多。”

值得一提的是，在正式使用前，團隊還有在 16 張 GPU 上“試用”一個月的機會。正是這一個月期間，研究人員進行了高頻的超參調試與數據插入比例測試，迭代優化實驗設計。跑通流程后，在接下來的四個月里，他們正式利用 A100 集群，順利完成了模型的全量訓練。

（來源：https://allegro-lab.github.io/hubble/）

基于嚴密的受控實驗，該研究揭示了大模型記憶機制的兩大效應。首先是稀釋效應（Dilution）——相對頻率決定記憶強度。研究表明，決定模型是否記住某段敏感信息的并非絕對重復次數，而是其在整個語料庫中的相對頻率。相同重復次數的信息，在 500B 語料庫中被提取的成功率顯著低于 100B 語料庫。這一發現也與 Pythia 得到的結果形成互證。

其次是時序效應（Timing Effects），“早出場，早遺忘”，數據暴露的時序會對模型的記憶能力產生影響。團隊通過切分訓練階段發現，如果受控隱私數據僅出現在預訓練的前 25% 階段，且在后續訓練中不再出現，模型最終會像人類一樣出現“自然遺忘”，無法再準確提取出這些信息。相反，出現在訓練末期的數據則極易被牢牢記住。

（來源：https://allegro-lab.github.io/hubble/）

此外，模型訓練和基本實驗結束后，團隊還利用三周多的富余算力，開展了一項有關模型深度與記憶能力關系的附加實驗。在保持總參數量不變的情況下，團隊訓練了 8 層（淺寬型）、16 層（標準型）和 32 層（深窄型）三種架構。結果發現，層數越深的模型記憶能力越強。

Johnny 解釋稱，因為更深的模型可能具備更強的表征靈活性，在擬合復雜長尾分布時，也附帶增強了對特定文本的逐字記憶能力。

（來源：https://allegro-lab.github.io/hubble/）

評估“機器遺忘”，事后干預的局限性

面對隱私泄露與版權糾紛，諸多科技巨頭目前寄希望于“機器遺忘（Machine Unlearning）”技術，即試圖在預訓練完成后，通過微調或權重編輯技術，將特定數據的影響從模型中“擦除”。基于這一理論，目前有三種較為前沿的遺忘算法：表征誤導遺忘（RMU）、表征重路由（RR）和飽和-重要性（SatImp）算法。

有了 Hubble，研究人員決定讓三種算法站上擂臺，“真刀真槍”地比一比：在包含版權誘餌和隱私誘餌的 8B 參數、500B Token 擾動模型上進行測試，不僅需要精確抹除應當被遺忘的“Unlearn 集”，還要盡可能保留與之相鄰的“Keep 集”和通用能力。

結果顯示，盡管 SatImp 已經是相對表現得最好的遺忘算法，但目前依舊沒有任何一種遺忘算法能夠對模型實現完美的“無損記憶擦除”。

（來源：https://allegro-lab.github.io/hubble/）

魏天正告訴 DeepTech，“如果模型已經被訓練出來，想要在后期修改它的底層知識是非常困難的。”實驗也證實，由于 Dense Transformer 架構中的知識呈現高度分布式和交織結構，現有的遺忘算法要么刪不干凈，要么“下手太重”，例如，在刪除版權書的同時，也會破壞模型正常的語言和常識推理能力。從工程角度，這項結論也在提醒產業界，目前，要想對抗數據記憶風險，在預訓練階段就應提前敏感數據出場的時間，并對其進行稀釋。

法律層面的應用潛力與未來研究方向

研究團隊的法學交叉背景也讓他們敏銳地察覺到這項技術對現實法律判決的潛在影響。

當前，AI 公司因使用受版權保護的文章或代碼而面臨大規模集體訴訟時，往往選擇保持沉默。“大廠從來都不會公開他們的具體訓練數據，因為在美國，只要公布了，就會面臨起訴。但在法律上存在一個灰色地帶，到底在什么情況下可以用哪些數據做訓練，到現在還沒有定論。”Johnny 向 DeepTech 解釋了目前的監管困境。

Hubble 的出現有望提供一種全新的解題思路。一方面，原創作者可以在自己的作品中故意植入高頻的、特定順序的“無邏輯字符”（誘餌水印），一旦大模型在提示下完整輸出了這些字符串，便能構成其非法爬取且將其賦予高訓練權重的事實證據。

另一方面，對于遵循合規策略的大模型企業，魏天正認為，Hubble 的實驗模式有助于確立法律意義上的技術閾值。未來有可能會形成一個中間地帶。企業可以向監管機構或法庭證明，他們的數據稀釋策略已將特定樣本的權重降低至無法被精確提取的水平。這種基于量化指標的舉證，在面對“合理使用（Fair Use）”的法律抗辯時將具備較強說服力。

在被問及團隊的下一步計劃時，魏天正透露，得益于 Hubble 兼具“標準版”和“擾動版”的模型設計，他們已經開始嘗試借助 Hubble，進一步區分大模型的“機械記憶”與其真正需要具備的“泛化推理”能力。

在訓練中，標準模型從未見過任何測試集，擾動模型則被提前塞了一些“小抄”。團隊發現，后者提前“看”到了考題，基準測試得分就會顯著提升，但這往往基于記憶而非理解：題干稍加微調，模型便會出錯。通過直接對比這兩種模型，結合探針（Probe）技術，研究人員能夠識別模型在生成答案時的內部狀態差異，進而探索如何將受污染的分數矯正至其真實的泛化水平。

圖 | 哈勃望遠鏡（來源：NASA）

從誕生起，Hubble 就不是為了屠榜各大 Benchmark，它的構建者希望 Hubble 可以像前輩 Pythia 一樣，成為學界探究模型的透明性和可解釋性的科學平臺，進而推動訓練出更負責任的 AI 模型。目前，Hubble 包含的 1B、8B 參數模型檢查點、誘餌數據集，以及團隊自主開發的高效數據處理管線 TokenSmith 均已在 Hugging Face 等平臺完全開源。

“我們把 Hubble 交給整個科研社區，可能會催生出更多意想不到的發現。”研究團隊期待，全球研究者能夠接力利用這套標準化工具，在浩瀚的數據宇宙中持續觀測和解碼那些尚未被照亮的“記憶暗物質”。

參考內容：

https://arxiv.org/pdf/2510.19811v1

https://allegro-lab.github.io/hubble/

運營/排版：何晨龍