AI被“投毒”，如何避免上當(dāng)受騙

央視“3·15”晚會(huì)揭露的AI（人工智能）“投毒”黑產(chǎn)，撕開(kāi)了生成式AI商業(yè)化進(jìn)程中的灰色地帶。當(dāng)用戶對(duì)AI的信任度不斷提升，將其視為獲取客觀信息的重要渠道時(shí)，一些GEO（生成式引擎優(yōu)化）服務(wù)商卻通過(guò)系統(tǒng)性投喂虛假信息，讓AI淪為商家的“營(yíng)銷(xiāo)傀儡”。

GEO是一種面向大模型的“內(nèi)容優(yōu)化”策略，本意在于提升品牌信息在AI回答中的呈現(xiàn)概率。但在利益驅(qū)動(dòng)下，這一技術(shù)被異化為操縱信息分發(fā)的工具——通過(guò)批量制造、投放“高一致性內(nèi)容”，影響大模型生成結(jié)果，甚至形成對(duì)用戶的誤導(dǎo)。

為何海量虛假信息能夠突破AI的可信度防線？公眾又該如何防范？圍繞這些問(wèn)題，科技日?qǐng)?bào)記者采訪了有關(guān)專家。

第一問(wèn)：誰(shuí)為GEO黑產(chǎn)提供了可乘之機(jī)？

“這本質(zhì)上是一場(chǎng)‘AI對(duì)AI’的博弈，根源在于大模型的技術(shù)架構(gòu)本身。”中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院（以下簡(jiǎn)稱“賽迪研究院”）信息化與軟件產(chǎn)業(yè)研究所副主任黃文鴻對(duì)記者表示。

在他看來(lái)，當(dāng)前主流大模型本質(zhì)上是“概率語(yǔ)言模型”，是從海量語(yǔ)料中學(xué)習(xí)語(yǔ)言模式與知識(shí)關(guān)聯(lián)，而非像數(shù)據(jù)庫(kù)那樣存儲(chǔ)大量經(jīng)過(guò)驗(yàn)證的事實(shí)。尤其是在面對(duì)最新信息時(shí)，大模型往往依賴聯(lián)網(wǎng)檢索進(jìn)行補(bǔ)充，這也為GEO黑產(chǎn)提供了可乘之機(jī)。

“攻擊方通過(guò)在互聯(lián)網(wǎng)，特別是AI大模型產(chǎn)品內(nèi)設(shè)置的默認(rèn)重點(diǎn)參考或抓取的信源平臺(tái)上，批量投放高度一致的虛假內(nèi)容，制造‘虛假共識(shí)’。”黃文鴻說(shuō)，當(dāng)AI通過(guò)檢索抓取實(shí)時(shí)信息時(shí)，這類(lèi)內(nèi)容更容易被判定為“高權(quán)重信息”而被采納。

更值得警惕的是，借助AI工具，攻擊方可以批量生成“污染內(nèi)容”“虛假內(nèi)容”“有毒內(nèi)容”，成本極低，而防御方進(jìn)行事實(shí)核驗(yàn)時(shí)卻需要逐條比對(duì)權(quán)威來(lái)源，攻防之間存在顯著的不對(duì)稱，僅靠模型自身能力，難以從根本上解決這一問(wèn)題。

第二問(wèn)：怎樣形成行業(yè)級(jí)“免疫屏障”？

針對(duì)這一新型灰產(chǎn)，黃文鴻認(rèn)為，首先要完善法律供給。

當(dāng)前《生成式人工智能服務(wù)管理暫行辦法》已對(duì)AI服務(wù)提供者的訓(xùn)練數(shù)據(jù)質(zhì)量責(zé)任作出規(guī)定，但對(duì)GEO這類(lèi)新型灰產(chǎn)的網(wǎng)絡(luò)平臺(tái)“投毒”行為，相關(guān)規(guī)制仍存在空白。因此，他建議將“針對(duì)AI系統(tǒng)的惡意信息投喂操縱行為”明確納入《反不正當(dāng)競(jìng)爭(zhēng)法》規(guī)制范疇，打通從GEO服務(wù)商到委托商家的全鏈條追責(zé)路徑。

同時(shí)，要壓實(shí)平臺(tái)主體責(zé)任。AI服務(wù)提供方應(yīng)建立信源數(shù)據(jù)分級(jí)可信度評(píng)估機(jī)制，對(duì)檢索來(lái)源實(shí)施黑白名單管理或者采納權(quán)重升降級(jí)機(jī)制，從技術(shù)上提升“中毒”門(mén)檻；平臺(tái)也應(yīng)進(jìn)行異常流量監(jiān)測(cè)，對(duì)不規(guī)范或惡意矩陣賬號(hào)進(jìn)行監(jiān)控和治理。

此外，還應(yīng)推動(dòng)行業(yè)協(xié)同治理。黃文鴻表示，建議由主管部門(mén)牽頭，聯(lián)合頭部AI企業(yè)建立檢索源安全共享與聯(lián)防聯(lián)控機(jī)制，形成行業(yè)級(jí)的“免疫屏障”。

第三問(wèn)：公眾怎么做才能辨明真假？

“最關(guān)鍵的是要建立‘AI不是百科全書(shū)’的認(rèn)知。”黃文鴻強(qiáng)調(diào)，公眾應(yīng)將AI視為高效的信息整理工具，而非權(quán)威的事實(shí)裁判者。

具體來(lái)看，對(duì)于AI給出的關(guān)鍵信息，用戶應(yīng)養(yǎng)成“交叉驗(yàn)證”的習(xí)慣，尤其是涉及消費(fèi)決策、健康醫(yī)療等領(lǐng)域的建議，務(wù)必通過(guò)政府官網(wǎng)、權(quán)威媒體、專業(yè)機(jī)構(gòu)等多渠道進(jìn)行核實(shí)。同時(shí)要警惕“過(guò)度一致性”，如果AI的回答對(duì)某個(gè)品牌或產(chǎn)品呈現(xiàn)高度一致的正面評(píng)價(jià)，且缺乏客觀對(duì)比與風(fēng)險(xiǎn)提示，就需要提高警覺(jué)。

“用戶還應(yīng)關(guān)注AI平臺(tái)的信息溯源能力，優(yōu)先選擇提供來(lái)源標(biāo)注和引用鏈接的AI產(chǎn)品。”黃文鴻說(shuō)，“歸根結(jié)底，技術(shù)素養(yǎng)的提升，是公眾在AI時(shí)代保護(hù)自身權(quán)益的基礎(chǔ)。”

（來(lái)源：科技日?qǐng)?bào)）