「隨機鸚鵡」與放大器：3·15曝光AI投毒背后的信息污染

文丨黃依婷

編輯丨梁滿

今年央視3·15晚會曝光了AI大模型被“投毒”的亂象，GEO（生成式引擎優化），這個很多普通人第一次聽說的詞被反復提及。一些公司濫用GEO技術，專門批量生產虛假、低質內容，把廣告包裝成測評、榜單、經驗分享，分發在不同平臺，只為了讓AI在抓取信息時，更容易采信這些內容，達到向消費者推薦、銷售產品的目的。

這聽起來有點像互聯網時代的SEO（ 搜索引擎優化 ）。不同的是，AI時代，用戶看到的是一個綜合答案，省略了過去在海量鏈接里篩選、判斷的過程，而GEO的濫用，讓看似客觀的AI答案變成了高度偽裝的廣告植入，進一步誤導消費者的判斷。

隨之而來更大的問題是，當AI成為被競相爭奪的信息入口、企業出于逐利目的濫用GEO，我們所處的信息環境也在發生變化。“一些真正值得被采納的信息淹沒在批量化生產的低質內容里，AI更難找到有價值的信息，通過AI獲取信息的人也沒有獲取真正有價值的信息。”張鴻茹說。

張鴻茹是一家大廠研究院的研究員，她近期的研究主題是虛假信息和AI素養。研究發現，和互聯網時代的垃圾信息相比，AI時代的信息污染規模更大、成本更低，普通用戶也更難識別AI生成的內容究竟是否現實存在，真相不再是一個點，而是一個面，這迫使每一個信息接收者都必須具備更強的辨別力和判斷力，因為“信息污染是不會消失的”。

以下是鏡相工作室與張鴻茹的對話：

技術在變，但逐利的目的沒變

鏡相工作室：看到央視3·15晚會曝光的AI大模型被“投毒”亂象時，你的第一反應是什么？它和你了解的GEO有什么區別？

張鴻茹：我倒是不算意外。因為AI出來之后，關于信息生態其實有非常多的討論，也有很多新的現象涌現。但是它確實要比我想象中的工業化程度更高一些。它可能標志著一個新的階段的到來。

像搜索時代有SEO，社交媒體時代有水軍、信息操控，短視頻時代有用推薦算法來養號的，再到現在的AI時代，又出現了GEO。可以說每一個新的信息入口都會生長出一套影響它的產業鏈來，和信息的形態是密不可分的。

鏡相工作室：所以從它的性質來看，GEO本身可能就是順著時代發展出現的新技術，曝光的亂象只是其中的一個切面。

張鴻茹：可以這么說。GEO作為一種技術，每個技術有善用也有濫用的部分，它是兩個維度，3 · 15晚會曝光出來的是它比較負面的一部分。

鏡相工作室：你剛剛也提到，互聯網時代有SEO，就是搜索引擎優化，那現在的GEO，它和SEO是一個什么樣的關系？相較于SEO，GEO哪些部分變了，哪些部分沒有變？

張鴻茹：一方面是技術在變，進一步導致信息結構的不同。比如，SEO時代，用戶看到的是一頁鏈接，可以通過對比多個網站自己來做判斷。

而GEO時代，用戶看到的是一個綜合答案，AI把判斷結果直接給到用戶了。就是說，如果你問AI什么是最好的，它會給你一個明確的答案。另一方面是，引用關系更重要了。

邏輯上其實是相同的，本質都是在影響信息入口。可以說，技術在變，但其中的人性，里面的逐利目的是沒有變化的，這也是為什么會有那些亂象出現。

鏡相工作室：目前GEO主要應用于哪些行業、有哪些用途？

張鴻茹：比較多的就是剛剛提到的那種提問句式——你覺得最怎么樣的是什么？圍繞這種句式，用戶最關心的議題可能是一些決策敏感的行業。比如醫療、教育、投資理財這種涉及重大決策的，還有數碼產品、旅游攻略、汽車這種消費類的，和品牌聲譽、企業口碑相關的行業也用得比較多。

就是說，誰能控制AI答案，可能在某種程度上就能控制流量。

鏡相工作室：這樣看AI確實幫人類省了非常多思考的過程，幫人類去做出了一些決策。

張鴻茹：是這樣的。

“隨機鸚鵡”，“投毒”的手段，以及“信息軍備競賽”

鏡相工作室：其實很多普通用戶不知道的是，所謂的像標準答案一樣的回答，它可能是AI大模型提取了大量互聯網上的信息。回到AI大模型的機制上，AI在回答一個問題時會經歷哪些步驟？

張鴻茹：是，就像你說的，很多人會覺得AI的答案是它自己想出來的，會覺得好神奇。

其實大模型要做的第一步是理解問題。比如說你問它最好的手機是哪款？那它就會判斷你是想買手機還是想做比較，可能也會結合你給的其它信息做出界定。第二步它就會去找信息，找的信息有給它的訓練數據，還有它自己抓取到的一些互聯網數據、外部數據庫等等。然后它會根據這些信息來到第三步，給你一個回答。這個回答就是通過組織一定的語言，給出一種比較擬人化的表達。

其實AI更像是一個比較快速的綜述寫作者。它把一些信息集成，然后做綜述，再給到用戶。現在大家說起AI有幾個常提的關鍵詞，有一個我覺得和這個可能有點相關，叫“隨機鸚鵡”，就是說AI其實是在模仿人類說話，根據它能夠學習、獲得的內容給你一個輸出。

（編者注：“隨機鸚鵡”是一個比喻，用來形容大型語言模型像鸚鵡一樣隨機模仿和組合語言，而不理解其真正含義。這一概念最初是用來批評語言模型在文本生成過程中的局限性。）

鏡相工作室：所以AI找信息的這一步是非常重要的，因為這可能決定了它究竟要給人類一個什么樣的回答。那在這個過程中，AI要怎么樣去判斷哪些信息更可信？中間有哪些工作機制？

張鴻茹：AI的判斷不完全是對真假的判斷，它只是在判斷那些看起來像真相的東西，我們可以把它稱為“共識”。既然是共識，那肯定有一個數量上的大多數。

我們還是從SEO時代講起。SEO看三件事——關鍵詞、外鏈和頁面權重。關鍵詞就是它根據檢索詞去做匹配，外鏈就是看有沒有人來推薦你，這個可以理解成論文里的“被引用”，頁面權重就是你本身是不是一個靠譜的網站，它有一個機制來判斷你是不是可信的。

GEO階段是類似的。它也是圍繞AI搜索和生成式引擎展開的一種可見度的優化。就是讓一些內容更容易被AI提及、引用或者推薦。一方面也是命中關鍵詞，另一方面是看它被提及的程度高不高，比如大量的內容涌現，AI就自然會覺得這個東西是相對重要的。再一個就是看信息來源是不是權威的。

鏡相工作室：現在GEO帶來的亂象，本質上可能叫信息污染或者數據投毒。常見的給AI大模型投毒的手段有哪些？這些手段又是怎么在你剛剛提到的機制里奏效的？

張鴻茹：剛剛我們說，AI很容易相信“很多地方都這么說”，那第一種手段就是利用這個機制，批量制造看上去中立的信息、內容，在多個站點、多個賬號，用特定的結構和模版去寫，制造“很多地方都這么說”的假象。

然后AI更容易學習到知識，而不是一些沒有上下文信息的簡單的截圖，所以第二種手段是偽裝。偽裝成測評、經驗總結，或者榜單、學術文章。這些內容是更容易獲得AI信任的內容形態。

我們剛說，AI是隨機鸚鵡，模仿人說話，到這個階段，我們就要思考，AI到底是在模仿什么樣的人說話。比如測評，它看起來是有理有據的，會說“為什么這個更好”，這個就是AI更喜歡的方式，它更傾向于學習原理。

鏡相工作室：今年3·15晚會曝光的GEO公司，最常采用的手段就是內容投喂，有的可能還會在文檔里用透明的或者白色的字加一些提示詞。為什么這種方式會更容易被應用于商業？

張鴻茹：我覺得第一點是它的成本特別低，可以規模化。AI出現之前，做內容操控其實是有成本的，哪怕是水軍，你需要人來寫，需要時間，需要分發。但是現在，生產效率上來了，一天就可以生產幾萬篇內容。影響信息環境這件事本身就變得工業化了。

第二點，剛說過的，AI某種程度上就是依賴數量和重復來判斷的。第三點，這種影響是隱形的。你剛剛說的是比較具象的隱形，還有一種隱形是說，它和廣告不一樣，經過內容投喂生成的答案，看起來不那么像營銷。

鏡相工作室：設想一個比較極端的狀態，如果越來越多的企業給AI投喂內容，那可能會出現什么樣的結果？

張鴻茹：比較直觀的是，內容會進一步膨脹，一些真正值得被采納的信息淹沒在批量化生產的低質內容里，AI更難找到有價值的信息，通過AI獲取信息的人也沒有獲取真正有價值的信息。往下一步是，可能會出現一種信息軍備競賽。

某種程度上，它只不過是通過AI這個信息入口來搶奪大家的注意力，那我投放了、你沒投放，大家可能就關注到我，或者一些新品牌學會了這種營銷策略，在AI時代就會有更多的曝光，而傳統品牌可能會喪失這種主動權。本質上是掌握技術的人就會擁有更多的資源。

鏡相工作室：它的另一面呢？會不會出現一些新的東西？

張鴻茹：一個比較好玩的是，可能會涌現出一些新的職業。比如古法編程，當AI宕機時，你要通過傳統的手工編程來繼續你的工作。再比如翻閱紙質書的人。大家可能更傾向于從互聯網獲取信息，比較直觀，而翻閱紙質書需要更長的思維鏈條，能夠激發你更多的思考。這里的“書”指的是沒有被AI幻覺污染的文字資料，紙質書肯定是最值得信任的，掃描版的電子書次之，再往下是大模型出現之前的網頁存檔和網絡資料。

鏡相工作室：所以可能有一批人，會想盡各種各樣的辦法去逃離AI信息污染。

張鴻茹：是這樣的。我覺得其實我們每個人都在做這樣的嘗試。當我們意識到這件事情的時候，你會做一些事情激活你的大腦，或者就一天嘗試不去用AI，單純靠自己的思考去做一些判斷。

AI只是人類信息污染的放大器

鏡相工作室：談到AI信息污染，一方面，AI被投喂了非常多或真或假的信息，有時會誤導受眾的判斷，另一方面，這些信息是一些人出于逐利目的主動制造的。你怎么看待這樣的矛盾？

張鴻茹：我覺得其實并不是那么的矛盾。AI并沒有主動制造這種信息污染，可能絕大多數的污染還是來自人類本身。AI是一個放大器，甚至可以說是人類制造了這種謠言、虛假信息，AI只是在人類的指導下、在人類的意圖下做了大規模的傳播。

鏡相工作室：關于AI信息污染，有一個具體的分類嗎？能不能結合具體情境聊聊？

張鴻茹：一類是虛假信息。之前我做了一個叫“概率真相”的研究，里面提到虛假信息分成兩種，一種叫disinformation，由人故意制造的，另一種叫misinformation，就是錯誤信息，無意為之的。現在兩者的區分程度沒有那么大，是相互交叉的狀態。

第二類是算法偏見，或者說不公正的數據集，可能帶來社會環境的污染。比如一些國外的研究表明，簡歷里是不是更多地挑出了白人男性。

第三類是隱私侵犯。比如我們現在對圖片、視頻進行大量的二次創作，在某種程度上造成了個人隱私的互傳。

第四類是之前提到的商業領域的操控。大量低質、誤導性的數據涌入，會使AI輸出的答案有一定的偏向，通過這種偏向機制可以達到操控。

鏡相工作室：這種AI信息污染，和過去互聯網時代的垃圾信息相比，呈現出哪些新的特點？

張鴻茹：規模更大、成本更低，這和前面提到的內容投喂的邏輯很類似。特別不一樣的地方在于，AI是隨機鸚鵡，它會學人說話，你其實更難識別AI生成的內容它到底是不是現實存在的。

像3 · 15晚會曝光的案例，一個虛假的運動手環，通過AI生成的大量的帖子，讓它被AI推薦。AI給出的答案語法正確、邏輯通順，但它說的可能是完全不存在的東西，這個是特別需要甄別的地方。

鏡相工作室：關于AI信息污染，近年有一個新的概念，叫“AI泔水”。你是怎樣解讀這一概念的？

張鴻茹：“AI泔水”這個詞它其實成為了麥考瑞詞典的年度詞匯，其實就是想引起大家對AI生成的污染亂象的關注。它指的是沒有經過人工審核、質量比較低劣、單純為了流量或者填充頁面內容，由AI批量生產的數字內容。

曾經大家都很追捧AI技術，覺得它提高了生產效率，也在創意工作上有所啟發。但是現在也對這種持續投喂產生了厭倦和反感，是一種技術濫用和數字疲勞。比較需要關注的是，這種低成本的輸出威脅到了信息生態，甚至惡意的、深度偽造的內容長期存在于網絡中，其實就會衍生成一種網絡霸凌。某種程度上它是一種劣幣驅逐良幣。

鏡相工作室：AI不斷從互聯網上去找信息，而互聯網又充滿了越來越多的AI泔水，會不會形成一種自我污染的循環？

張鴻茹：技術也是在發展的，不會單純照搬互聯網上的內容，它也會根據訓練目標或者算法來選擇信息，很多低質的內容可能不會完全進入它的強化系統里面。再一個，我還是比較相信人類本身的判斷力，大家還是會交叉驗證，或者有一套自己信賴的權威信源，過濾掉一部分的噪聲。

所以即使有AI泔水，也不會那么夸張地讓大家直接陷入無限的誤導當中。換句話說，AI生成的內容它會增加信息量和復雜程度，但是真正被人類接受和依賴的還是一些我們認知里的比較高質量的信息，還是會基于自己的認知判斷。

信息污染不會消失，但也不會完全無序

鏡相工作室：面對AI信息污染，學界、業界有提供一些解決方案嗎？

張鴻茹：技術層面有數據溯源、內容水印、可信大模型。

像可信大模型，是一個比較長期的概念，一方面你要做可信數據集，另一方面要不斷提升模型的能力。還有引用來源，但我覺得目前引用來源也成為了被利用的一個指標，一些引用的內容未見得是真實的內容。再一個是可信網站的權重，究竟哪些網站是值得被信賴的？有一些網站是偽造的，網站里的內容也是偽造的，要調整不同可信度網站在AI大模型中的權重。

大模型廠商現在也有一些抵御“投毒”的做法，在數據源準入、檢索過濾、內容清洗這些環節都有部署，層層攔截劣質內容，保證輸出可信度。具體包括對批量生成和無來源的內容大幅降權等等，對醫療、金融這些敏感領域也做了多源交叉驗證。目前，“溯源追蹤”已經成為行業標準，廠商不再只是通過公開網頁抓取，而是建立高可信語料庫，優先采用權威媒體、學術期刊等單位的官方數據，這也對應到前面說的可信大模型的搭建。

當然，要真正有效應對信息污染，需要更多角色加入進來，一起攻克這個難題。

用戶層面可能能談得稍微多一點。說得寬泛一點，就是要提高AI素養。可以把“概率真相”作為自己的一種心法。之前我們通常講“后真相”，后真相是情緒的判斷，就是我不管事實究竟是什么，我覺得是什么它就是什么。那到“概率真相”時代，某種程度上是一種理性的回歸，真相不再是一個點，而是一個面。

（編者注：概率真相主要用于描述在信息高度不確定、真假難辨的環境中，人們如何判斷和接受“真相”。）

我們經常有這樣的想法，看到很多內容或者比較清晰的論述，第一反應都是，這是不是AI生成的？這其實就是一種概率的判斷，承認不確定性的存在，保持一種懷疑的姿態。我們看到AI給我們的答案，要思考這東西真的是這么確定的嗎？它就是第一名嗎？它就是最好的嗎？尤其在一些決策上，我們需要更多地相信自己的經驗和判斷，或者多問問身邊人。

鏡相工作室：從技術上看，防范AI大模型被“投毒”的難點在哪里？

張鴻茹：首先是數據規模，目前互聯網上的內容太多了。第二個，信息真假本來就是一件非常復雜的事情，很多東西它不是絕對的真假，它有一個概率或者規模上的呈現。還有一個是商業激勵的部分。其實只要有流量，可能就會有人做GEO。這其實和前面我們講到的，相對于SEO階段，它不變的就是逐利。當你發現這個東西對商業和市場是有利的，你可能就會愿意在這上面做更多的投入和策略的轉變。

鏡相工作室：普通人在用AI的時候，其實并不了解AI背后的機制，也不知道AI說的話可信度到底有幾分，在不同問題上AI的回答可不可信。所以，能不能給普通AI用戶一些建議，幫助他們去判斷AI的答案。

張鴻茹：我想到一本很有意思的書，叫《叫魂》，它里面有個小故事特別有意思，我覺得對于回答這個問題或許會有幫助。在乾隆年間，有一個石匠，他在修橋的過程中和當地居民發生了糾紛，這位石匠就被誣告了，罪名叫“打生樁”。打生樁就是把活人的名字壓在橋樁上來詛咒這個人。后來一傳十、十傳百，變成了一個關于“叫魂”的傳言，妖術的媒介從寫著人名的紙片，變成了剪人的辮子。

我覺得它和現在是有類似之處的。那個時候是口口相傳的媒介，現在在AI的加持下，信息在不停地走樣。其實現在肯定要比那個時候是更好溯源的。我覺得我們首先要把AI當成一個工具，它是可能產生概率回答的，同時它也是概率工具本身，我們可以很好地利用它。

然后一是看來源，看有沒有引用，還是說是AI直接給出的答案。

二是多問幾次，可以在不同的模型之間做對比，你就可以通過這個來反推出可能另外幾家模型給的回答對不對。

三是問“為什么”，讓AI解釋依據，不要只看它的回答。

四是換不同的視角去問，看AI給的回答是不是一樣的。還有一個，最近在我的同事們之間很流行，叫second me，第二自我。我覺得你可以培養一個像你一樣思考的AI分身，讓你的數字分身幫助你去判斷，這樣也不會耗費你的很多精力，作為人的token就被保留下來了。

鏡相工作室：second me是說，要告訴AI很多你的事情、你的思維方式、你過去的經歷嗎？

張鴻茹：這是一個方面，或者這是更進階的一個角度。更基礎的角度是，你可以把你既往的寫作或者自己的案例丟給它，讓它了解你是怎么思考的。它會有理解你是怎么思考的一個過程，然后輸出一個像你一樣的結果。可以讓它從基礎做起。如果你發現它下次輸出的邏輯是不對的，你可以糾正它不要這樣想，然后按照你慣常的方式去告訴它。

鏡相工作室：以目前學界和業界的研究進展和方向，再結合你的研究經歷，你認為AI信息污染問題會逐漸消失、減少，還是與人類對真實有效信息獲取的需求長期共存？

張鴻茹：我覺得信息污染是不會消失的。剛剛我們講到了那么多的形態，包括前面分享的歷史小故事，它并不是互聯網技術出現之后才出現的新現象，更不是AI出現之后才有的。所以其實信息污染并不會消失，有噪聲的出現就一定會污染。但是我覺得最后都會達到一種平衡，像現在口口相傳的事情，大家都已經會下意識上覺得眼見為實、耳聽為虛，都會有一些自己的判斷。

鏡相工作室：其實在人類社會上，這些謠言、不可信的信息是長期存在的，可能和人類文明史是相伴的。

張鴻茹：是的，AI信息污染不可能完全的消失，信息需求是永遠存在的。AI生成內容的規模、速度還有多樣性，它就是遠超人類直接生產力的，某種程度上它會長期存在，但它不可能完全是這種無序的狀態。

【 版權聲明】所有內容著作權歸屬鏡相工作室，未經書面許可，不得轉載、摘編或以其他形式使用，另有聲明除外。

繼續閱讀：