AI被“投毒”，如何避免上當受騙

央視“3·15”晚會揭露的AI（人工智能）“投毒”黑產，撕開了生成式AI商業化進程中的灰色地帶。當用戶對AI的信任度不斷提升，將其視為獲取客觀信息的重要渠道時，一些GEO（生成式引擎優化）服務商卻通過系統性投喂虛假信息，讓AI淪為商家的“營銷傀儡”。

　　GEO是一種面向大模型的“內容優化”策略，本意在于提升品牌信息在AI回答中的呈現概率。但在利益驅動下，這一技術被異化為操縱信息分發的工具——通過批量制造、投放“高一致性內容”，影響大模型生成結果，甚至形成對用戶的誤導。

　　為何海量虛假信息能夠突破AI的可信度防線？公眾又該如何防范？圍繞這些問題，科技日報記者采訪了有關專家。

　　第一問：誰為GEO黑產提供了可乘之機？

　　“這本質上是一場‘AI對AI’的博弈，根源在于大模型的技術架構本身。”中國電子信息產業發展研究院（以下簡稱“賽迪研究院”）信息化與軟件產業研究所副主任黃文鴻對記者表示。

　　在他看來，當前主流大模型本質上是“概率語言模型”，是從海量語料中學習語言模式與知識關聯，而非像數據庫那樣存儲大量經過驗證的事實。尤其是在面對最新信息時，大模型往往依賴聯網檢索進行補充，這也為GEO黑產提供了可乘之機。

　　“攻擊方通過在互聯網，特別是AI大模型產品內設置的默認重點參考或抓取的信源平臺上，批量投放高度一致的虛假內容，制造‘虛假共識’。”黃文鴻說，當AI通過檢索抓取實時信息時，這類內容更容易被判定為“高權重信息”而被采納。

　　更值得警惕的是，借助AI工具，攻擊方可以批量生成“污染內容”“虛假內容”“有毒內容”，成本極低，而防御方進行事實核驗時卻需要逐條比對權威來源，攻防之間存在顯著的不對稱，僅靠模型自身能力，難以從根本上解決這一問題。

　　第二問：怎樣形成行業級“免疫屏障”？

　　針對這一新型灰產，黃文鴻認為，首先要完善法律供給。

　　當前《生成式人工智能服務管理暫行辦法》已對AI服務提供者的訓練數據質量責任作出規定，但對GEO這類新型灰產的網絡平臺“投毒”行為，相關規制仍存在空白。因此，他建議將“針對AI系統的惡意信息投喂操縱行為”明確納入《反不正當競爭法》規制范疇，打通從GEO服務商到委托商家的全鏈條追責路徑。

　　同時，要壓實平臺主體責任。AI服務提供方應建立信源數據分級可信度評估機制，對檢索來源實施黑白名單管理或者采納權重升降級機制，從技術上提升“中毒”門檻；平臺也應進行異常流量監測，對不規范或惡意矩陣賬號進行監控和治理。

　　此外，還應推動行業協同治理。黃文鴻表示，建議由主管部門牽頭，聯合頭部AI企業建立檢索源安全共享與聯防聯控機制，形成行業級的“免疫屏障”。

　　第三問：公眾怎么做才能辨明真假？

　　“最關鍵的是要建立‘AI不是百科全書’的認知。”黃文鴻強調，公眾應將AI視為高效的信息整理工具，而非權威的事實裁判者。

　　具體來看，對于AI給出的關鍵信息，用戶應養成“交叉驗證”的習慣，尤其是涉及消費決策、健康醫療等領域的建議，務必通過政府官網、權威媒體、專業機構等多渠道進行核實。同時要警惕“過度一致性”，如果AI的回答對某個品牌或產品呈現高度一致的正面評價，且缺乏客觀對比與風險提示，就需要提高警覺。

　　“用戶還應關注AI平臺的信息溯源能力，優先選擇提供來源標注和引用鏈接的AI產品。”黃文鴻說，“歸根結底，技術素養的提升，是公眾在AI時代保護自身權益的基礎。”

來源：科技日報