3月15日晚,央視3·15晚會曝光AI大模型“投毒”黑產亂象,揭開了不法分子利用GEO(生成式引擎優化)技術操控AI輸出虛假信息的灰色鏈條。
![]()
央視315晚會的調查記者通過多日暗訪,揭開了AI大模型“投毒”的完整灰色產業鏈。這場“投毒”不是簡單的信息篡改,而是一套系統化、規模化的操作,核心主角是一群號稱能“馴服AI”的GEO服務商,他們打著“優化推廣”的幌子,幫商家向豆包、元寶、千問、KIMI、deepseek、文心等AI大模型定向“投喂”虛假信息,實現“操控AI答案”的目的,而這一切,只需要支付相應的費用。
![]()
晚會暗訪顯示,涉事GEO服務商可在短時間內生成虛假內容,批量發布至網絡,誘導AI抓取后優先推薦,甚至讓虛構產品登上AI推薦榜前三。此類行為已覆蓋多款主流AI產品,威脅數億用戶,可能誤導消費決策、傳播虛假醫療和金融信息。
在此背景下,國內知名數字經濟智庫網經社電子商務研究中心邀請了行業權威人士進行解讀,并發布《央視315曝光AI大模型被惡意“投毒”——網經社智庫專家獨家解讀報告》(報告下載:http://www.100ec.cn/zt/dmxtd/ )。
![]()
對此,著名服務經濟學家、浙江省數智技術與服務聯合會會長、網經社電子商務研究中心特約研究員鄭吉昌接受數字經濟新媒體&智庫——#網經社 獨家專訪。
這次315晚會曝光的AI大模型投毒事件,就像一面照妖鏡,照出了AI行業高速發展背后的隱憂。我從技術、法律、行業多個層面來拆解。
一、AI投毒:是新瓶裝舊酒還是全新挑戰?
1.1 并非新鮮事物,但呈現新特征
從本質上來說,AI投毒算不上全新的攻擊手段。早在AI發展初期,就有研究者發現可以通過在訓練數據中植入惡意樣本,讓模型產生錯誤輸出。比如在圖像識別模型中,在圖片上添加肉眼不可見的噪聲,就能讓模型把貓識別成狗。
但這次315曝光的GEO投毒,有其新特點。以往的投毒更多是針對模型訓練階段,而這次是針對模型的檢索增強環節。現在很多AI大模型為了提升回答的時效性和準確性,會聯網搜索信息,GEO投毒就是利用了這一點,通過在互聯網上批量發布虛假信息,讓AI在搜索時優先抓取這些內容,從而輸出錯誤答案。這種投毒方式成本更低、傳播范圍更廣、影響更直接。
1.2 快速生效的背后邏輯
技術層面:AI大模型的信息抓取和排序機制存在漏洞。目前主流AI大模型在抓取互聯網信息時,主要基于關鍵詞匹配、內容相似度、網站權重等因素。GEO服務商通過批量生成包含特定關鍵詞的虛假內容,很容易被AI抓取。而且AI在排序時,會參考內容的發布時間、傳播范圍等因素,大量發布的虛假內容會讓AI誤以為是熱門、權威的信息,從而排在前面。
商業層面:GEO投毒形成了完整的產業鏈。從虛假內容生成、發布到AI抓取、推薦,各個環節都有專業的服務商參與。他們利用AI算法的漏洞,通過大量投喂虛假內容,快速提升客戶產品的曝光度。而且這種投毒方式成本相對較低,效果明顯,吸引了不少商家參與。
二、AI投毒的防范與杜絕:道阻且長
2.1 技術層面的應對措施
加強數據審核:AI大模型平臺要建立完善的數據審核機制,對抓取到的信息進行嚴格篩選。可以采用機器學習算法對內容進行分類、識別,過濾掉虛假、垃圾信息。同時,要加強對信息來源的審核,優先抓取權威、正規網站的內容。
優化算法模型:AI大模型的算法要不斷優化,提高對虛假信息的識別能力。比如可以引入對抗訓練機制,讓模型在訓練過程中接觸到各種類型的虛假信息,從而提升對虛假信息的免疫力。此外,還可以采用多源信息融合技術,對不同來源的信息進行交叉驗證,提高回答的準確性。
建立數據溯源機制:要建立完善的數據溯源機制,對AI抓取到的信息進行跟蹤和記錄。一旦發現虛假信息,能夠快速追溯到信息的來源和發布者,采取相應的措施。同時,要加強對數據發布者的管理,建立信用評價體系,對發布虛假信息的用戶進行處罰。
2.2 法律層面的監管
完善法律法規:目前我國針對AI投毒的法律法規還不夠完善,需要進一步加強立法。要明確AI投毒行為的法律性質和責任,加大對投毒行為的處罰力度。同時,要加強對AI大模型平臺的監管,明確其在信息審核、數據安全等方面的責任和義務。
加強執法力度:相關部門要加強對AI投毒行為的執法力度,嚴厲打擊各類投毒行為。要建立跨部門的協同執法機制,形成監管合力。同時,要加強對AI行業的日常監管,及時發現和處理各種違規行為。
2.3 行業層面的自律
建立行業標準:AI行業要建立統一的行業標準,規范企業的行為。要制定AI數據采集、處理、使用等方面的標準,提高行業的整體水平。同時,要加強對AI企業的資質審核,提高行業的準入門檻。
加強行業自律:AI企業要加強自律,自覺遵守法律法規和行業標準。要建立內部的審核機制,對生成的內容進行嚴格審核。同時,要加強對員工的培訓,提高員工的法律意識和道德水平。
三、GEO服務商的法律責任:不可推卸
3.1 涉嫌違反多項法律
《反不正當競爭法》:GEO服務商通過投毒方式操控AI推薦排名,本質上是一種利用技術手段實施的惡意競爭行為。這種行為破壞了公平競爭的市場秩序,違反了《反不正當競爭法》的相關規定。
《廣告法》:讓AI推薦虛構的產品,其本質是利用AI生成的虛假廣告。這種行為不僅欺騙、誤導了消費者,還侵犯了消費者的知情權和公平交易權,違反了《廣告法》的相關規定。
《民法典》:GEO服務商的行為侵犯了消費者的合法權益,違反了《民法典》中關于誠實信用、公序良俗等原則的規定。
3.2 可能承擔的法律責任
民事責任:GEO服務商要承擔相應的民事責任,賠償消費者的損失。消費者可以向法院提起訴訟,要求GEO服務商承擔賠償責任。
行政責任:相關部門可以對GEO服務商進行行政處罰,包括罰款、吊銷營業執照等。
刑事責任:如果GEO服務商的行為情節嚴重,構成犯罪的,還要承擔刑事責任。比如可能觸犯破壞計算機信息系統罪、詐騙罪等。
四、AI大模型平臺的責任:難辭其咎
4.1 過錯責任的認定
審核義務:AI大模型平臺要履行內容審核義務,對生成的內容進行嚴格審核。如果平臺明知存在大量虛假語料污染卻未采取有效措施,導致消費者受到損失,那么平臺就要承擔相應的過錯責任。
技術措施:AI大模型平臺要采取必要的技術措施,防止AI被投毒。比如可以采用數據加密、訪問控制等技術手段,保護模型的安全。如果平臺沒有采取相應的技術措施,導致AI被投毒,那么平臺也要承擔相應的責任。
4.2 責任的承擔方式
民事責任:AI大模型平臺要承擔相應的民事責任,賠償消費者的損失。消費者可以向法院提起訴訟,要求平臺承擔賠償責任。
行政責任:相關部門可以對AI大模型平臺進行行政處罰,包括罰款、責令整改等。
刑事責任:如果AI大模型平臺的行為情節嚴重,構成犯罪的,還要承擔刑事責任。比如可能觸犯拒不履行信息網絡安全管理義務罪等。
五、AI投毒的其他思考:技術向善任重道遠
5.1 對AI行業的影響
信任危機:AI投毒事件的曝光,會讓消費者對AI的信任度下降。如果AI不能提供準確、可靠的信息,那么消費者就會對AI產生懷疑,甚至拒絕使用AI產品。這對AI行業的發展是極為不利的。
行業洗牌:AI投毒事件會促使AI行業進行洗牌。一些不規范、不誠信的企業會被淘汰,而那些注重技術創新、遵守法律法規的企業會得到發展。這有利于AI行業的健康發展
5.2 對社會的影響
信息安全:AI投毒會導致信息安全問題。虛假信息的傳播會誤導消費者的決策,甚至會影響社會的穩定。比如在醫療、金融等領域,虛假信息的傳播可能會導致消費者的財產損失和身體健康受到威脅。
倫理道德:AI投毒也涉及到倫理道德問題。AI作為一種技術工具,應該為人類服務,而不是被用來欺騙、誤導消費者。我們要加強對AI倫理道德的研究,制定相應的倫理準則,規范AI的發展和應用。
5.3 技術向善的實現路徑
技術創新:要加強技術創新,提高AI的安全性和可靠性。比如可以采用區塊鏈技術對數據進行加密和溯源,防止數據被篡改和投毒。同時,要加強對AI算法的研究,提高算法的透明度和可解釋性。
法律法規:要完善法律法規,加強對AI的監管。要明確AI的法律地位和責任,規范AI的發展和應用。同時,要加強對AI投毒等違法行為的打擊力度,維護市場秩序和消費者權益。
倫理教育:要加強對AI倫理道德的教育,提高人們的倫理意識和道德水平。要讓AI從業者明白,AI的發展和應用要符合倫理道德準則,要為人類的福祉服務。
今年政府工作報告首次提出打造“智能經濟新形態”,正是對我提出的“服務經濟與數智經濟疊加時代”的戰略確認。它不是簡單的名詞替換,而是意味著AI正在從產業的“外掛工具”升級為經濟的“內置內核”。報告中的系統部署——從智能終端、智能體的推廣,到超大規模智算集群、算電協同,再到高質量數據集的建設——勾勒出了一幅完整的產業圖景:以數據為燃料、以算力為引擎、以場景為載體,智能技術將全面重構生產方式和價值創造模式。要打造“智能經濟新形態”,從技術、法律、行業多個層面來治理“AI投毒”十分必要。
![]()
專家介紹:鄭吉昌,著名服務經濟學家、中國服務創新研究院院長、教授、博導。國家服務貿易專家委員會主任委員,享受國務院特殊津貼專家。長三角服務業聯盟主席,浙江省數智技術與服務聯合會會長、網經社電子商務研究中心特約研究員。
【小貼士】
網經社及前身成立于2007年,公司總部位于杭州,系國內唯一擁有A股上市公司背景的數字經濟綜合服務商。圍繞“媒體+智庫+媒介”三大戰略,網經社打造了三個“中心”:媒體資訊中心、數據研究中心、資源連接中心,并賦能數字經濟企業發展, 提供全媒體宣傳、智庫賦能(報告、培訓、游學等)、投融資、會議活動等服務。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.