可用即脆弱？VENOM擊穿縱向聯(lián)邦學(xué)習(xí)

縱向聯(lián)邦學(xué)習(xí)旨在讓不同機(jī)構(gòu)在不直接共享原始數(shù)據(jù)的情況下開展聯(lián)合建模，因此被廣泛認(rèn)為是金融、醫(yī)療、物聯(lián)網(wǎng)和推薦系統(tǒng)等場(chǎng)景中的重要隱私計(jì)算范式。

在該范式廣泛使用的分割學(xué)習(xí)框架中，客戶端利用本地私有特征和底部模型生成中間表征，并將其發(fā)送給中央服務(wù)器進(jìn)行后續(xù)訓(xùn)練與推理。

然而，這種安全感并不意味著風(fēng)險(xiǎn)已經(jīng)消失：在廣泛采用的分割學(xué)習(xí)框架下，客戶端雖然不直接暴露原始特征，卻會(huì)持續(xù)向服務(wù)器發(fā)送中間表征，而這些看似 “脫敏” 的表示，仍可能成為模型竊取的突破口。

已有研究表明，誠(chéng)實(shí)但好奇的服務(wù)器可以通過輔助查詢收集 “輸入-表征” 對(duì)，并訓(xùn)練代理模型對(duì)客戶端的底部模型進(jìn)行竊取。針對(duì)這一威脅，現(xiàn)有工作主要通過加噪、投影、剪枝或多分支解耦等方式擾動(dòng)表征，以削弱點(diǎn)對(duì)點(diǎn)擬合式攻擊的效果。

近日，紐約州立大學(xué)石溪分校、史蒂文斯理工學(xué)院和紐約大學(xué)的一個(gè)聯(lián)合研究團(tuán)隊(duì)發(fā)現(xiàn)：現(xiàn)有防御雖然能夠擾亂中間表征的顯式形式，卻很難徹底消除其局部幾何結(jié)構(gòu)。原因并不復(fù)雜：服務(wù)器側(cè)模型想要維持預(yù)測(cè)性能，就必須繼續(xù)依賴表示空間中的語(yǔ)義關(guān)系。換句話說，如果防御把 “相似樣本彼此接近、不相似樣本彼此分離” 這一基本結(jié)構(gòu)破壞得太嚴(yán)重，模型效用本身也會(huì)明顯下降。

這意味著，很多防御實(shí)際上陷入了一個(gè)兩難：

• 如果保留太多結(jié)構(gòu)信息，攻擊者就可能順著這些結(jié)構(gòu)恢復(fù)模型能力；
• 如果結(jié)構(gòu)破壞得過于徹底，系統(tǒng)本身的任務(wù)性能又難以維持。

也正因?yàn)槿绱耍烙蟮谋碚髦型匀粴埩糁徊糠?“為了可用性不得不保留” 的局部幾何信息。而這部分信息，恰恰可能成為新的安全突破口。相比于直接擬合每一個(gè)中間表征的精確數(shù)值，研究團(tuán)隊(duì)將注意力轉(zhuǎn)向了一個(gè)更穩(wěn)定、也更容易跨越防御擾動(dòng)的對(duì)象：樣本之間的局部幾何關(guān)系。

在此背景下，該聯(lián)合團(tuán)隊(duì)提出了一項(xiàng)直擊上述痛點(diǎn)的最新研究。紐約州立大學(xué)石溪分校李健老師團(tuán)隊(duì)博士生張欽博提出了一種名為VENOM的基于幾何感知的縱向聯(lián)邦學(xué)習(xí)模型竊取攻擊框架，該工作目前已被 CVPR 2026 主會(huì)錄用。

論文標(biāo)題：Stealing Split Learning Bottom Models by Recovering Embedding Geometry

VENOM 方法與創(chuàng)新

該研究團(tuán)隊(duì)提出了基于幾何感知的縱向聯(lián)邦學(xué)習(xí)模型竊取攻擊框架 VENOM。

該方法首先利用服務(wù)器側(cè)可觀察到的中間表征學(xué)習(xí)一個(gè)更穩(wěn)定的對(duì)比表示空間，從而緩解防御機(jī)制帶來的坐標(biāo)擾動(dòng)問題；隨后，在這一學(xué)習(xí)到的對(duì)比空間中挖掘每個(gè)樣本的 K 近鄰與 K 遠(yuǎn)鄰關(guān)系，構(gòu)建局部幾何支架；最后，在訓(xùn)練代理模型時(shí)，不僅要求其逐點(diǎn)逼近目標(biāo)表征，還額外通過鄰居吸引與遠(yuǎn)鄰排斥機(jī)制，使代理模型恢復(fù)目標(biāo)底部模型中間表征流形的局部結(jié)構(gòu)。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)在 Bank、SUSY、Diabetes、MNIST、CIFAR-10 和 NUS-WIDE 六個(gè)數(shù)據(jù)集以及不同的底部模型上評(píng)估了 VENOM 的竊取效果。測(cè)試指標(biāo)采用竊取準(zhǔn)確率（S-ACC）和預(yù)測(cè)一致率（AGR）。

實(shí)驗(yàn)結(jié)果表明，VENOM 在多種防御場(chǎng)景下均優(yōu)于基于距離對(duì)齊的竊取方法。這表明，現(xiàn)有防御方法雖然能夠在一定程度上擾亂表征坐標(biāo)，卻未必能夠真正切斷攻擊者對(duì)局部幾何信息的利用。只要模型效用仍然要求表示空間保留一定的語(yǔ)義組織能力，那么這部分結(jié)構(gòu)就可能變成安全上的殘余通道。

換言之，模型之所以 “還能用”，某種程度上也意味著它就 “可被利用”。

研究者還對(duì) VENOM 的各個(gè)組件進(jìn)行了消融實(shí)驗(yàn)，以驗(yàn)證其必要性。

論文還進(jìn)一步驗(yàn)證了該方法在輔助數(shù)據(jù)分布發(fā)生偏移時(shí)的有效性。實(shí)驗(yàn)結(jié)果顯示，當(dāng)攻擊者獲得的輔助數(shù)據(jù)與目標(biāo)任務(wù)并非完全同分布、但仍保持一定語(yǔ)義相近性時(shí)，VENOM 依然能夠維持較高的竊取性能。

具體而言，在 CIFAR-100 和 Tiny-ImageNet 等近分布外輔助數(shù)據(jù)上，方法性能雖有一定下降，但整體仍顯著優(yōu)于現(xiàn)有基線。這說明，VENOM 所利用的并不是某一組樣本的偶然匹配，而是目標(biāo)模型表示空間中更一般化的結(jié)構(gòu)特征。只要輔助數(shù)據(jù)與目標(biāo)任務(wù)在語(yǔ)義層面仍存在一定關(guān)聯(lián)，攻擊者就有機(jī)會(huì)借助這些結(jié)構(gòu)信息完成有效竊取。