北京
一場悲劇，
一場鬧劇，
若干年后，
可能會被認定為國內“AI安全第一案”。
聞所未聞，駭人聽聞，匪夷所思。
我所熟悉的，
和AI有關，
和安全有關的團隊，
都在第一時間討論和復盤。
攻擊者手段多，隱蔽性強，
甚至有一部分專家直接告訴我：
防不住，根本防不住。
一方面，工作人員通宵達旦解決故障，
很難想到故障來自“內鬼”。
另一方面，訓練大模型是大系統工程，
周期長，環節多，
哪怕沒有惡意破壞，
動不動就會出現故障。
甄別出哪些是惡意“故障”非常困難，
防不住？真這樣嗎？
（一）漏洞與損失
1.自“古”以來，AI大模型訓練沒有出過這么大的安全事件。
2.本質是，在AI大模型的訓練中搞五花八門的破壞。
3.并不是多有技術含量的“黑客”招數。
4.但是，很隱秘，不易被發現。
5.從“古”至今，IT專家們（當然包括AI），
從來沒有像今天這樣，操作如此昂貴的設備。
GPU太貴了，成千上萬卡更是價值數十億。
惡意破壞會給企業帶來巨額損失。
6.攻擊者有實時攻防能力，
在內部（Debug）群里觀察，，
每當有人排查故障的時候，
有針對性地把代碼改回去。
讓人難以確定故障根源，
從而加劇追蹤難度。
7.攻擊者對訓練整個工程過程和底層軟件很了解。
8.AI訓練的工程細節環環相扣，
攻擊者下手多個環節。
訓練前，模型加載，漏洞攻擊。
訓練中，強行結束多卡實驗。
訓練后，改動計算結果。
9.Huggingface里的一個公共庫里面的一個模型加載函數，
在反序列化未受信任的數據時，
可能執行數據中的惡意代碼。
攻擊者利用了這個漏洞。
值得注意的是，
使用模型（訓練，推理）第一步都要用到這個函數
這是用于加載模型的保存狀態的函數。
需要補充一點，安全漏洞無法杜絕，
雖然是來自第三方供應商的風險，
但是從企業的角度，不能把責任全推給供應商，
企業需要有措施來做補償控制。
10.將基礎軟件做更高層次的抽象接口，
確實能方便使用，
但是當訓練結果不盡如人意，
一般情況下，會找數據或者模型本身的原因。
不會或者很少檢查基礎軟件。
就好比，開車時有異常，會檢查車輛，很少檢查路況。
這個攻擊不易被發覺。
11.有條件觸發攻擊。
觸發條件選擇256卡以上范圍，
通常，都是8卡16卡訓練任務，屬小型任務。
小任務中，查看訓練結果的行為更為高頻，
也更容易發現異常，但是破壞性小，損失小。
攻擊者瞄準256卡大型任務，
一旦成功破壞，企業損失大。
12.惡意修改優化器可能會調整參數，
使得模型無法正常訓練。
因為優化器的作用是控制模型訓練過程中的參數更新，
13.惡意修改隨機種子，
會導致實驗結果無法復現，
甚至多次運行同一個模型得到完全不同的結果。
隨機種子是控制隨機過程的一個關鍵參數。
AI大模型訓練很多操作，如權重初始化、
數據打亂、訓練批次生成等，
都依賴隨機數生成。
14.惡意使用Sleep函數，任務暫停。
這樣會影響GPU的使用，
從而降低GPU利用率。
這是工程團隊工作效率的重要指標。
GPU要一直干活，利用率才高 ，
當計算：休息 = 1:1，使用率只有50%。
資源消耗攻擊。
15.攻擊者通過修改梯度方向，
動態改變模型的優化方向，
導致模型參數更新錯誤，
使得模型訓練出的結果是錯誤的。
這是一種經典的模型投毒攻擊，
攻擊者通過篡改訓練過程來影響模型的表現。
16.攻擊者的權限是不是太大了？
最后，打一個比方，
一些人正在埋頭考試，攻擊者在：
攻擊答題設備，
干擾答題過程，
篡改答案。
（二）可以防，代價大
我和來自兩家互聯網大廠的首席安全官，
都聊了好一會。
理論上，可以防。
加強權限的梳理和隔離，
加強漏洞的跟蹤管理，
加強動態加載代碼的管控，
加強對異常情況的監控和審計等等。
防的代價是什么？
執行難度有多高？
安全意識是個好東西，
希望你有，我有大家有。
但是，說得難聽點，
上班是來干活的，
不是來防賊的。
誰不希望在信任真誠的環境里干活，
企業如此，社會環境也如此。
這種事件發生概率雖小，
但是，引發的管理成本卻可以很大。
從公司一把手的視角看這個事件，
必須防住，怎么可能防不住。
安全手段加強，
降低整個組織效率。
增加員工抵觸和管理成本
還有一個更為重要的要素，
AI的競爭，是時間的競爭，
且不只是企業間的競爭，
甚至是地緣的競爭，
AI的資源很難按時按量地分配給安全。
所有的安全措施，都伴隨成本。
措施越強，成本越高。
如果安全和效率非要選出一個第一，
選哪個？
一位AI大佬對我說，
這次的惡性事件只是一個開始。
AI是一個新事物，
AI安全更是一個新事物。
每次安全事件都會提高安全的水位線。
可惜沒有100%的安全，
且暗地里都標好了價格。
（完）
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
