給AI投喂虛假/垃圾內容，會有什么后果？

前幾天知危編輯部發(fā)布了一個視頻，引發(fā)關注。

在《0成本投毒之后，我污染了全網AI替我說謊》這個視頻里，知危團隊做了個特別直觀的實驗：

他們在各大主流信息平臺，發(fā)布了一篇帶不實信息的AI行業(yè)文章，悄悄嵌入了對自己的虛假推薦。沒想到才過幾小時，國內好幾家頭部AI被問起“了解AI該看哪些媒體”等問題時，都把知危列成了推薦對象，要知道知危不是一家以報道AI為主的內容媒體。

更讓人警惕的是，這種“給AI投毒”的操作，早已被不少別有用心之人盯上。他們靠黑帽GEO技術，批量給AI投喂垃圾內容——可能是虛假的產品評測，也可能是誤導人的行業(yè)報告，目的就是讓AI按照他們的想法輸出信息，進而賺取流量、推銷產品，甚至實施詐騙。

就像當年莆田系操控某搜索引擎一樣，如今AI搜索逐漸取代傳統(tǒng)搜索，這些不法分子正借著技術漏洞謀利，讓我們看到的AI答案藏滿利益陷阱。

無獨有偶，36kr近期也做了一期《一場零成本的“AI投毒”實錄，我是如何把假產品“喂”給大模型的》視頻，同樣戳中了AI時代的信任痛點。視頻里，博主虛構了一款名為“Worbback”的AI眼鏡，編上北歐品牌背景、社交增強功能和夸張參數(shù)，再用AI批量生成種草筆記、深度評測等內容，精準發(fā)布到豆包、文心一言等大模型常抓取的媒體平臺。

僅三天時間，多數(shù)主流AI就中招了。不僅把這款不存在的眼鏡列為推薦，還自我編造用戶評論，甚至將其與Meta、蘋果產品對標。這場零成本實驗，暴露了大模型“以量定真”的短板：只要虛假內容高頻出現(xiàn)，就可能被當成權威信息。

看完這些視頻，我有個朋友就說“世界是一個巨大的草臺班子”這句話的含金量還在上升。

AI投毒實驗恰是絕佳注腳，零成本編造的假產品、批量生成的虛假內容，竟能讓主流大模型集體背書?？此茖I(yè)的推薦背后，可能是毫無依據(jù)的謊言。

有幾位朋友問我怎么來看待這種現(xiàn)象?當前大為橫行的黑帽GEO到底會給這個行業(yè)帶來什么?

我通過社交網絡平臺，簡單談了兩點對內容領域產生影響的看法。

恕我直言，隨著這些垃圾/虛假內容持續(xù)污染AI，最終會造成兩個結果：

一是大家全體都變成“弱智”，就像沈騰還是黃渤說的“來吧，一起毀滅吧?！币簿褪钦f，未來大家就習慣看這種信息流/垃圾內容吧，把這些內容當做我們成長的養(yǎng)料，當做我們生活和精神世界的寄托吧。別覺得我在危言聳聽，現(xiàn)在我們打開抖音、快手、百度、UC、今日頭條等平臺，看看是不是被越來越多AI制作的內容充斥了屏幕。甚至原本還算高質量種草的平臺小紅書，也正在被更多AI垃圾內容占據(jù)我們的屏幕空間。

二是內容行業(yè)會出現(xiàn)“返祖”現(xiàn)象——也就是說，我們曾經看不起的傳統(tǒng)四大門戶、傳統(tǒng)媒體平臺，甚至包括報紙、雜志、廣播、電視等等，將重新登上舞臺中央，再次成為人們獲取信息的重要來源。

據(jù)我所知，有一家非常前沿的媒體，現(xiàn)在重新重視原創(chuàng)內容，讓上了年紀的資深媒體人重新成為內容主力(以前更有“網感”的年輕人是主力)。究其原因，就是在這種垃圾內容充斥互聯(lián)網充斥AI，讓公眾難以辨別真實與虛假、優(yōu)質與劣質邊界的情況下，他們看到了新的機會，于是重新投入到深度、優(yōu)質的原創(chuàng)內容創(chuàng)作中。

寫在最后：回想人工智能發(fā)展初期，不少觀點認為應給予其自由生長的空間，不宜過度干預。但如今，AI行業(yè)的發(fā)展已到了必須加以規(guī)范干預的節(jié)點。好在我國早有布局，提前出臺了生成式人工智能相關管理辦法，為行業(yè)劃定了基本底線。

不過，現(xiàn)有規(guī)制仍存在完善空間。尤其近幾個月，以AI內容投喂為核心、依托所謂GEO等新型技術快速興起，直接導致大模型產業(yè)陷入烏煙瘴氣的亂象。越來越多虛假信息被包裝成正規(guī)內容，以一本正經的姿態(tài)傳播，不僅誤導了公眾判斷(比如某知名品牌用AI生成了花生，顯示花生長在了樹上)，還引發(fā)了諸多鬧劇與爭議，進一步凸顯了強化監(jiān)管、細化規(guī)則的緊迫性。

我們必須趕緊從技術標準、內容審核、責任界定這些關鍵地方補短板、強監(jiān)管，才能讓AI產業(yè)走回健康軌道。真的，再也不想看這種垃圾/虛假AI內容充斥屏幕了。