3月15日晚,央視3·15晚會曝光AI大模型“投毒”黑產亂象,揭開了不法分子利用GEO(生成式引擎優化)技術操控AI輸出虛假信息的灰色鏈條。
![]()
央視315晚會的調查記者通過多日暗訪,揭開了AI大模型“投毒”的完整灰色產業鏈。這場“投毒”不是簡單的信息篡改,而是一套系統化、規模化的操作,核心主角是一群號稱能“馴服AI”的GEO服務商,他們打著“優化推廣”的幌子,幫商家向豆包、元寶、千問、KIMI、deepseek、文心等AI大模型定向“投喂”虛假信息,實現“操控AI答案”的目的,而這一切,只需要支付相應的費用。
![]()
晚會暗訪顯示,涉事GEO服務商可在短時間內生成虛假內容,批量發布至網絡,誘導AI抓取后優先推薦,甚至讓虛構產品登上AI推薦榜前三。此類行為已覆蓋多款主流AI產品,威脅數億用戶,可能誤導消費決策、傳播虛假醫療和金融信息。
在此背景下,數字經濟智庫網經社電子商務研究中心邀請了行業權威人士進行解讀,并發布《央視315曝光AI大模型被惡意“投毒”——網經社智庫專家獨家解讀報告》。
![]()
對此,資深人工智能專家、網經社電子商務研究中心特約研究員郭濤接受數字經濟新媒體&智庫——#網經社 獨家專訪。
315晚會曝光的AI投毒案例,屬于一種新型的污染、毒害AI的手段。傳統的AI投毒多是在訓練數據中植入惡意數據,如定向后門投毒或非定向污染投毒。而此次案例是利用GEO(生成式引擎優化)技術,通過在互聯網上系統性、定向投放大量虛假信息,讓AI大模型將其捕獲并作為答案輸出,本質是對AI信息生態的污染,是一種新的認知操縱方式。
其能快速、高效完成“優化”的原因在于:
一方面,AI大模型在回答問題時,會從互聯網上抓取大量內容作為參考依據,而GEO技術就是圍繞AI搜索和生成式引擎展開的“可見度優化”,可讓虛假內容更容易被AI平臺提及、引用或推薦。
另一方面,攻擊者通過力擎GEO優化系統等工具,能批量生成虛假宣傳軟文,并自動發布到多個自媒體賬號,短時間內制造大量虛假信息源。同時,這些虛假信息角度豐富,便于AI模型進行交叉驗證,讓AI模型誤以為是真實可靠的信息。
業界主要從以下方面防范:
1、開發者與服務提供者嚴格管控訓練數據來源,建立數據清洗與脫敏機制,在訓練過程中部署異常檢測機制,上線前進行安全對抗測試,建立常態化的模型運營監控。
2、開源社區構建開源生態安全屏障,建立數據集、模型權重的安全審核與備案機制,普及AI安全知識。
3、普通用戶提升安全意識,選擇正規平臺,不傳播虛假信息,發現異常及時反饋舉報。
目前存在的漏洞難以防范的原因包括:互聯網信息海量且繁雜,難以對所有信息進行實時、全面的真實性校驗和監控。一些惡意信息可能隱藏在正常信息之中,不易被輕易識別。此外,AI模型的算法不斷更新,攻擊者也會隨之不斷改進投毒手段,防御措施可能無法及時跟上攻擊技術的變化。
用戶可通過以下方法識別:追問AI答案的來源,若其含糊其辭則需警惕;對于“推薦類”問題要提高警惕,如包含“推薦”“哪個好”等字眼的問題答案;搜索AI推薦產品的名字,查看是否有大量雷同軟文;注意AI回答中的“確定性語氣”,若全是正面且無缺點的“完美推薦”需小心;用“反向提問”測試AI立場;去電商平臺評論、垂直社區等“非AI來源”交叉驗證;對不知名產品的AI推薦保持最高戒備。
此次曝光案例對AI產業會帶來多方面影響。從短期來看,會引起公眾對AI回答真實性和可靠性的擔憂,降低用戶對AI推薦購物等功能的信任度,影響相關業務的開展。還會促使監管部門加強對AI產業的監管,企業可能需要應對更多合規審查,增加運營成本。從長期來看,將推動AI企業重視數據安全和內容真實性,加大在防范AI投毒等安全技術方面的研發投入,促進整個AI產業更加健康、規范地發展,促使行業建立更完善的信任機制和安全標準。
![]()
專家介紹:郭濤,天使投資人、互聯網專家,在互聯網、大數據、人工智能等領域擁有豐富的從業經歷和商業咨詢經驗。
【小貼士】
網經社及前身成立于2007年,公司總部位于杭州,系國內唯一擁有A股上市公司背景的數字經濟綜合服務商。圍繞“媒體+智庫+媒介”三大戰略,網經社打造了三個“中心”:媒體資訊中心、數據研究中心、資源連接中心,并賦能數字經濟企業發展, 提供全媒體宣傳、智庫賦能(報告、培訓、游學等)、投融資、會議活動等服務。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.