六問AI被“投毒”灰產(chǎn)

IDC數(shù)據(jù)顯示，2025年中國AI搜索月活用戶已超6億，超六成企業(yè)級用戶在決策前優(yōu)先通過AI問答平臺獲取供應(yīng)商信息。

中國信通院數(shù)據(jù)顯示，2024年中國GEO服務(wù)市場規(guī)模已超過42億元人民幣，年復(fù)合增長率達到38%。據(jù)弗若斯特沙利文預(yù)測，2026年這一規(guī)模將突破180億元，年復(fù)合增長率超45%。

然而，央視“3·15”晚會揭露的AI（人工智能）“投毒”黑產(chǎn)，撕開了生成式AI商業(yè)化進程中的灰色地帶。當(dāng)公眾對AI建立起信任時，一些GEO（生成式引擎優(yōu)化）服務(wù)商卻通過系統(tǒng)性“投喂”虛假信息，讓AI淪為商家的“營銷傀儡”，肆意染污用戶的AI與搜索生態(tài)，對用戶形成誤導(dǎo)從而謀取利益。

系統(tǒng)、有效治理AI被“投毒”灰產(chǎn)，已經(jīng)刻不容緩。

一問：AI為何成為“投喂”虛假信息的重點對象？

根源在于其作為新興信息入口的權(quán)威性與技術(shù)漏洞的雙重性。

一方面，AI大模型被公眾視為客觀理性的“知識共識”來源，用戶對其輸出內(nèi)容存在天然信任；另一方面，AI的“幻覺”缺陷和數(shù)據(jù)依賴特性使其易被操控。

大模型基于概率生成內(nèi)容，當(dāng)訓(xùn)練數(shù)據(jù)缺失時會自動編造“合理”細節(jié)，而GEO灰產(chǎn)正是利用這一漏洞，通過批量投喂虛假信息污染訓(xùn)練數(shù)據(jù)，使AI將謊言內(nèi)化為“標(biāo)準答案”。

例如，2025年西藏定日縣地震中，AI生成的“小男孩被埋”圖因六根手指暴露破綻，但更隱蔽的虛假信息已能通過交叉驗證機制欺騙AI，即當(dāng)多個賬號發(fā)布相同虛假內(nèi)容時，AI會誤判為“事實”并優(yōu)先推薦。

攻擊者只需通過偽造數(shù)據(jù)、篡改標(biāo)注等手段，就能在模型訓(xùn)練階段植入“污染源”，讓AI在潛移默化中吸收錯誤認知，后續(xù)輸出的內(nèi)容自然偏離客觀事實。更關(guān)鍵的是，AI具備規(guī)模化、自動化的信息傳播能力，一條被“投毒”的AI生成內(nèi)容，可在短時間內(nèi)借助各類平臺觸達海量用戶，其虛假信息的傳播效率與覆蓋范圍遠超傳統(tǒng)人工傳播，這種傳播效能被灰產(chǎn)盯上后，便成為低成本制造輿論、誤導(dǎo)公眾的高效工具。

二問：誰為GEO灰產(chǎn)提供了可乘之機？

商業(yè)利益驅(qū)動是AI被“投毒”灰產(chǎn)亂象背后的核心引擎。

流量是互聯(lián)網(wǎng)商業(yè)模式的血液，AI正在成為流量分配的新入口。當(dāng)用戶習(xí)慣了向AI提問并直接采納其建議時，誰能影響AI的回答，誰就能掌握流量變現(xiàn)的密碼。對于商家而言，出現(xiàn)在AI回答中的推薦鏈接或品牌名稱，意味著巨大的曝光量和潛在客戶。這種極致的流量追逐，使得原本應(yīng)用于合規(guī)營銷的SEO技術(shù)發(fā)生了異化。

灰產(chǎn)團伙發(fā)現(xiàn)，與其費盡心力優(yōu)化內(nèi)容質(zhì)量，不如直接偽造內(nèi)容欺騙AI來得高效低廉。一條完整的黑色產(chǎn)業(yè)鏈迅速形成：上游是有著迫切推廣需求的商家，中游是編寫惡意指令、批量生成虛假帖子的技術(shù)團隊，下游則是負責(zé)分發(fā)、刷量以增加權(quán)重的“水軍”。

灰產(chǎn)團伙利用AI技術(shù)來對抗AI，通過自動化腳本生成數(shù)以萬計的看似合理的虛假測評、虛構(gòu)的新聞報道，將真實信息淹沒在噪音之中。這種“用魔法打敗魔法”的行徑，不僅極大地降低了營銷成本，更能在短時間內(nèi)迅速占領(lǐng)AI的“心智”，實現(xiàn)收割流量的目的。

另外，不少中小商家為降低獲客成本，主動尋求GEO灰色服務(wù)，將AI推薦視為低成本流量入口，2025年電商、本地生活領(lǐng)域的GEO灰色服務(wù)訂單量同比增長190%，旺盛的市場需求也直接推動了灰產(chǎn)鏈條的快速擴張。

三問：為什么虛假信息的技術(shù)甄別和清除難度大？

技術(shù)層面的甄別難題，為GEO灰產(chǎn)的泛濫提供了發(fā)育和成長的條件。

當(dāng)前的AI算法在處理高仿真虛假信息時，仍面臨著巨大的挑戰(zhàn)。隨著生成式AI技術(shù)的普及，制造虛假內(nèi)容的門檻被無限拉低，灰產(chǎn)人員同樣可以使用大模型生成邏輯通順、文風(fēng)自然的偽原創(chuàng)內(nèi)容。

這些由機器生成的文本，在語言特征上與人類真實表達幾乎無異，甚至在邏輯嚴密性上更勝一籌。對于依靠概率統(tǒng)計來判斷內(nèi)容質(zhì)量的AI模型而言，很難分辨一段文字是人類真實經(jīng)歷的記錄，還是機器生成的謊言。

此外，多模態(tài)技術(shù)的發(fā)展更讓“有圖有真相”成為了歷史，偽造的圖片、視頻配合文字，能夠構(gòu)建出極具欺騙性的證據(jù)鏈，讓AI在判斷時徹底迷失。算法在處理這類復(fù)合型、高仿真的虛假信息攻擊時，往往顯得“力不從心”。現(xiàn)有的過濾機制大多基于已有的違規(guī)詞庫或明顯的邏輯漏洞，而對于這種基于特定目的、經(jīng)過精心包裝的GEO“投毒”內(nèi)容，技術(shù)防御體系尚顯得脆弱且滯后。

算法“黑箱”特性加劇了問題的隱蔽性。多數(shù)商業(yè)AI系統(tǒng)并不公開其訓(xùn)練數(shù)據(jù)構(gòu)成或權(quán)重分配邏輯，外界難以追溯某條錯誤輸出的根源。當(dāng)用戶發(fā)現(xiàn)某地餐館在AI推薦中異常突出，卻無法判斷這是源于真實口碑還是人為刷量？

這種不可解釋性不僅削弱了公眾監(jiān)督能力，也為灰產(chǎn)提供了天然的“保護傘”。即便平臺事后察覺異常，也常因缺乏有效溯源手段而只能被動清理表面內(nèi)容，難以根除背后的操縱鏈條。

四問：為什么AI“投毒”灰產(chǎn)長期處于監(jiān)管盲區(qū)？

面對如此嚴峻的形勢，這一亂象卻長期處于被忽視的邊緣地帶，其原因值得深思。

技術(shù)發(fā)展的不確定性在客觀上遮蔽了問題的嚴重性。正如上文所說，大模型的“黑箱”特性，使得其生成錯誤答案的過程難以追溯。當(dāng)AI一本正經(jīng)地胡說八道時，普通用戶往往難以在第一時間察覺，甚至可能因為AI“自信”的語氣而產(chǎn)生信任。

這種現(xiàn)象被業(yè)界稱為“幻覺”，但GEO“投毒”造成的危害遠甚于技術(shù)性的幻覺，它是人為制造的定向誤導(dǎo)。由于缺乏有效的溯源機制，受害者即便發(fā)現(xiàn)被誤導(dǎo)，也往往投訴無門，難以界定是技術(shù)故障還是人為作惡。

虛假信息從注入內(nèi)容池到被AI抓取訓(xùn)練、最終呈現(xiàn)給用戶，整個傳導(dǎo)鏈條最短需要15天，最長可達3個月，危害爆發(fā)時很難追溯到最初的信息投放主體。現(xiàn)有監(jiān)管規(guī)則更多聚焦于AI服務(wù)提供者的主體責(zé)任，針對GEO灰產(chǎn)的投放行為、中介服務(wù)的定性和處罰標(biāo)準尚未明確。

盡管《生成式人工智能服務(wù)管理暫行辦法》已對AI服務(wù)提供者的訓(xùn)練數(shù)據(jù)質(zhì)量責(zé)任作出規(guī)定，但對GEO這類新型灰產(chǎn)的網(wǎng)絡(luò)平臺“投毒”行為，相關(guān)規(guī)制仍存在空白。有關(guān)專家建議將“針對AI系統(tǒng)的惡意信息投喂操縱行為”明確納入《反不正當(dāng)競爭法》規(guī)制范疇，打通從GEO服務(wù)商到委托商家的全鏈條追責(zé)路徑。

壓實平臺主體責(zé)任同樣重要。AI服務(wù)提供方應(yīng)建立信源數(shù)據(jù)分級可信度評估機制，對檢索來源實施黑白名單管理或者采納權(quán)重升降級機制，從技術(shù)上提升“中毒”門檻；平臺也應(yīng)進行異常流量監(jiān)測，對不規(guī)范或惡意矩陣賬號進行監(jiān)控和治理。

五問：如何應(yīng)對AI“投毒”灰產(chǎn)的系統(tǒng)性染污？

更值得警惕的是，這類“投毒”行為正在從單點攻擊演變?yōu)橄到y(tǒng)性污染。

早期灰產(chǎn)多聚焦于單一平臺或特定場景，如今則呈現(xiàn)出跨平臺協(xié)同、數(shù)據(jù)復(fù)用的趨勢。一段偽造的本地評論可能同時被用于訓(xùn)練搜索引擎、語音助手和智能客服等多個AI系統(tǒng)，形成連鎖污染效應(yīng)。由于各平臺間缺乏數(shù)據(jù)共享與風(fēng)險聯(lián)防機制，一處漏洞可能引發(fā)整個信息生態(tài)的連鎖失真。

AI系統(tǒng)的數(shù)據(jù)饑渴與GEO業(yè)務(wù)的商業(yè)邏輯在此交匯，共同構(gòu)筑了一個高回報、低風(fēng)險的灰色溫床。技術(shù)設(shè)計者追求效率與規(guī)模，平臺運營方追逐流量與轉(zhuǎn)化，而監(jiān)管體系尚未跟上技術(shù)迭代的速度，多重因素疊加，使得虛假信息投喂不僅可行，甚至成為某些細分市場中的“標(biāo)準操作”。若不及時干預(yù)，這種扭曲的信息輸入將持續(xù)侵蝕AI系統(tǒng)的可信度。

跨部門協(xié)作是系統(tǒng)治理亂象的關(guān)鍵。監(jiān)管框架必須打破“頭痛醫(yī)頭”的碎片化思路，轉(zhuǎn)向覆蓋全生命周期的協(xié)同治理。

立法層面應(yīng)明確AI開發(fā)者、數(shù)據(jù)提供方與平臺運營者的連帶責(zé)任，要求其對訓(xùn)練數(shù)據(jù)的合法性與代表性承擔(dān)舉證義務(wù)。可考慮在《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》基礎(chǔ)上出臺專項指引，將“數(shù)據(jù)投毒”納入網(wǎng)絡(luò)攻擊范疇，賦予網(wǎng)信、公安、市場監(jiān)管等多部門聯(lián)合執(zhí)法權(quán)限。

平臺責(zé)任則需具體化：不僅限于事后刪除違規(guī)內(nèi)容，更應(yīng)建立事前篩查機制，對高頻提交相似地理標(biāo)簽內(nèi)容的賬號實施流量限制或人工復(fù)核。

六問：公眾應(yīng)如何辨別真?zhèn)危刈o信息安全？

面對日益逼真的生成式虛假信息，公眾的辨識能力與媒介素養(yǎng)成為至關(guān)重要的社會免疫細胞。

提升公眾“免疫力”不能停留在泛泛而談的警示，而需提供具體可操作的方法論。一個核心原則是“主動驗證，交叉比對”。面對一段極具沖擊力的AI生成視頻或文本，公眾應(yīng)養(yǎng)成習(xí)慣：核查信息源頭是否來自權(quán)威機構(gòu)或可驗證的媒體；利用反向圖片搜索工具驗證圖片或視頻幀的真實性；將事件的關(guān)鍵信息（如地點、人物、時間）與多個獨立、可信的信源進行交叉比對。

警惕那些煽動極端情緒、聲稱掌握“獨家絕密”或要求立即分享傳播的內(nèi)容。教育體系需將數(shù)字素養(yǎng)與批判性思維訓(xùn)練貫穿始終，從基礎(chǔ)教育階段就開始教授如何評估在線信息的可信度，理解AI生成內(nèi)容的潛在特征與局限。

社區(qū)、圖書館與媒體平臺可以合作，普及辨識深度偽造與虛假信息的實用技巧。社會層面的廣泛覺醒，能為虛假信息市場創(chuàng)造強大的“需求側(cè)”阻力。

“最關(guān)鍵的是要建立‘AI不是百科全書’的認知。”專家建議，公眾應(yīng)將AI視為高效的信息整理工具，而非權(quán)威的事實裁判者，歸根結(jié)底，技術(shù)素養(yǎng)的提升，是公眾在AI時代保護自身權(quán)益的基礎(chǔ)。

此外，AI服務(wù)提供商未來還應(yīng)提升AI的透明度與可解釋性，向消費者披露輸出信息的依據(jù)、信源及其權(quán)重，以幫助用戶自主判斷AI輸出的可信度，并更好地保護消費者權(quán)益。

（經(jīng)濟觀察網(wǎng) 李強/文）

免責(zé)聲明：本文觀點僅代表作者本人，供參考、交流，不構(gòu)成任何建議。