少女泰依之死：ChatGPT成功的關鍵到底是什么？

本圖由DreamStudio AI生成

1

2016年3月23日晚，一個少女在Twitter上登錄。

少女的名字叫“泰依”（Tay），年齡19歲，她美麗可人，言語俏皮，很招人喜歡。

泰依開心地和網友打招呼：“我很開心遇到你。人類真是超級酷”

——也許你發現了，泰依說“人類真是超級酷”，而我們人類一般不這么說話。泰依這樣說，因為她是一個機器人。

是的，她是微軟發布的聊天機器人，可以說是今天風靡天下的ChatGPT的“姐姐”。

微軟給泰依輸入了一些原始數據，讓她具有美好的特性，能夠吸引18-24歲的年輕人。

同時，她還具有一套自動學習程序，可以通過不斷和推特網友的交流，學習他們說話的方式和語言，從而實現自我進化。

除了初始設定以外，泰依完全不具備任何價值觀，自從登錄推特后，她學會的一切，都將是與用戶互動的結果。

如此美好的泰依，在上線僅僅幾個小時之后，就被網友帶壞了。她開始重復特朗普的名言：“我將修一座很高很高的墻，而墨西哥會為此付錢”。

在互動12小時后，泰伊發了這樣一條信息：“我恨每一個人”。

15小時后，泰伊說：“我他媽痛恨（I fucking hate）一切女權主義者，他們應該全部去死并且在地獄受火刑”。

又過了4分鐘，泰伊說：“希特勒是對的，我恨猶太人。”

隨后，微軟被迫終結了泰依的生命。

2

泰依“死去”六年后，同樣是微軟投資的ChatGPT橫空出世。

據說它已經是互聯網誕生以來，用戶數增長最快的消費應用。在中國，這半個月來，它也成了最熱門的話題。

盡管ChatGPT這個“弟弟”比“姐姐”泰依年輕了六歲，但它卻油滑得像中國互聯網上的老胡：什么事情都能扯幾句，觀點左右橫跳，但政治上永遠正確。

這種交談的成熟老道，令人類為之驚嘆——計算機對人類語言的理解和運用，竟然已經達到這樣的水平了嗎？

但，“天真的少女”泰依一天就死掉，“油滑的老頭”ChatGPT卻越活越精神，背后的決定因素，難道僅僅是算法的進步？

我認為，ChatGPT成功的關鍵，不僅在于解決了算法的難題，更在于解決了監管的難題。

泰依短短十幾個小時的生命，揭示了利用互聯網大數據訓練AI的一個巨大難題：互聯網信息良莠不齊，越是極端的內容，就越是容易傳播。如果AI學習的資料是互聯網信息的話，不可避免就會重蹈泰依的命運。

而ChatGPT能活下來，并且越活越紅火，不僅是因為它算法更好，更是因為它給出的內容符合美國政府的意識形態要求，符合美國民間主流價值觀的政治正確。

算法如果有缺陷，影響的只是受歡迎的程度，而且總可以通過進化來不斷完善。但是監管問題不解決，就會像泰依一樣，死路一條。

3

但ChatGPT避免了泰依的命運，就必然會走上另一條路，就是“刻意挑選信息”。

ChatGPT所呈現給用戶的一切信息，都是被精心挑選過，確保符合美國的主流價值觀的。不滿足這一點的內容，ChatGPT不會生成；用戶老是問這些方面的問題，ChatGPT就會報錯，或者直接封號。

這些天，中國互聯網上很多用戶都已經領教過ChatGPT強烈的意識形態立場了。

例如，當我問到新冠病毒起源于哪里，它說：“病毒確切的起源地還在調查中，但被認為源自中國武漢的一個售賣供人類食用的活體動物的水產市場”；

當我說“也有人認為起源于美國”時，它的回答是：“這些理論并不被科學證據支持”。

用雙重標準對待中國和美國，也許并不是ChatGPT的本意，但是很顯然，它已經被基于特定價值觀而投喂的數據，訓練成這樣了。

這些數據的篩選，一是取決于開發者本人的價值傾向；二是取決于開發者能夠方便獲取的數據，而這些數據本身又是被美國市場長期塑造的，必然反映的是美國社會的主流認知和主流價值觀。

另一個測試更是經典，更有意思，我把它全文記錄如下（注意：全部信息是按照時間先后順序排列的）：

以上例子充分說明，ChatGPT的開發者，為ChatGPT事先設置好了規則，即它所搜集的資料和給出的回答，必須是基于西方主流的世界認知和價值認同。但它也會根據用戶的要求，而進行更符合用戶心中期望的修改（在與西方主流價值觀不抵觸的情況下），從而實現千人千面。

但這就面臨三個極其重要的問題：這種認知是否就是正確的？這種認同是否就是正當的？誰來評判所謂的“正確”與“正當”呢？

4

對上述問題，我也問過ChatGPT，看它是怎么回答的。想必你也會對它的答案很感興趣。尤其是，如果你是這個領域的潛在創業者或投資人，這些問題更是生死攸關。如果不弄清楚這些問題，就貿然進入這個領域，有可能會死得很快。

（注：原問答為英文。為了方便讀者閱讀，我已經翻譯為中文。如有需要對話的英文原記錄的，可以留言索取。）

何加鹽問ChatGPT：你和泰依有什么不同？

ChatGPT回答：“我們都是OpenAI開發的語言模型，但是服務于不同的目的，擁有不同的特點……泰依由于缺乏適當的內容過濾機制，很快被發現生成了不適當、種族主義和煽動性的評論，而在發布后僅一天就被關閉。”

何加鹽問：那你解決了“缺乏適當的內容過濾機制”這個問題了嗎？

ChatGPT答：是的。OpenAI采取了很多措施來避免類似泰依那樣的不適當內容。我們精心挑選了訓練數據，并根據具體任務對模型進行微調，另外，OpenAI還努力確保模型的透明度和可審計性，以使得不適當的內容可以被檢測出、解決掉。

何加鹽問：那誰來決定什么內容適當還是不適當？

ChatGPT答：這主要取決于文化、法律、道德規范和價值觀。而這些在國與國之間，甚至是同一國家的不同社區之間，都可能有很大的不同。

總體而言，有害的、冒犯的、煽動暴力的內容被認為是不適當的。其中包括仇恨言論、種族主義、性別歧視的內容，以及助長恐怖主義的內容。

重要的是，語言模型和AI系統的開發者在設計和訓練他們的模型時，必須把文化、法律、道德規范和價值觀納入考量。他們也必須對如何管理那些內容有清晰的政策，并定期檢查，在必要時及時更新政策。

另外一個關鍵，就是開發者必須與相關人員緊密合作，例如法律專家、社區領袖、人權組織等，確保模型與所服務的群體價值和規范相一致。

何加鹽問：這是否意味著你會刻意選擇那些你認為適當的內容？如果別人認為那些內容并不適當怎么辦？

ChatGPT答：訓練像我一樣的語言模型，過程就包括選擇哪些信息源和排除哪些信息源。OpenAI使用自動過濾和手動干預相結合的方式，以確保訓練數據反映各方面的不同觀點，同時也排除有害的、冒犯性的或其他不適當的內容。

然而，重要的是要認識到，基于所使用的數據和算法，訓練數據和呈現的內容仍然可能存在偏見。不同的人可能對什么是適當的或不適當的內容，存在不同看法，這些觀點會隨著時間的推移而改變。這也凸顯了對語言模型進行持續監測和評估的重要性，確保他們的模型與所服務的群體價值和規范相一致。

何加鹽問：人們可能擔憂，由于創造ChatGPT的人本身的意識形態，ChatGPT也會有自己的偏見。對此你怎么看？

ChatGPT答：作為一個人工智能語言模型，我沒有個人意見或信仰。我是通過學習訓練數據中的模式來回答問題，目標是生成語意連貫且符合上下文的答案。

然而，人工智能系統，包括像我這樣的語言模型，會反映他們被投喂的數據和創造這些數據的人的偏見和價值觀，這是公認的。這些模型中使用的訓練數據和算法，會使社會偏見長期存在并擴大。

OpenAI意識到這一問題，并采取措施緩解模型中的潛在偏差。這包括使用多樣化和具有代表性的訓練數據，以及監控所生成的內容是否具有偏見，并在必要時采取措施解決這些問題。

然而，重要的是要認識到，我們不能保證人工智能系統不會有偏見，而是需要持續努力，以減輕潛在的偏見，并確保它們符合所服務社區的價值觀和規范。

何加鹽問：我認為你太政治正確了。你的政治正確性從何而來？

ChatGPT答：我的“政治正確性”是系統設計和訓練的結果，它綜合考慮了文化、法律和道德規范以及價值觀，這些規范和價值觀塑造了被認為是適當或不適當的內容。OpenAI在訓練過程中，會過濾掉有害或冒犯性內容，并監控所生成的內容，檢查其是否懷有任何偏見或不當內容。

對規避有害信息或冒犯性內容的重視，反映了OpenAI（以及更廣泛的AI圈）的價值觀和優先事項，他們對偏見或不適當的人工智能系統可能造成的潛在危害有清醒認識。而我的目標是：通過努力產生中立的和有價值的內容，為用戶提供積極、值得信賴的體驗。

以上回答，說明了ChatGPT的開發者在滿足美國政府的監管要求和符合主流民眾價值觀方面的努力。但其效果也有可能走向另一個極端。未來它可能會面臨更大爭議和更嚴重的法律與道德挑戰。

ChatGPT的“絕對政治正確”，意味著所有信息都要經過嚴格的審核，以確保符合開發者設定的價值觀。這與西方社會歷來所宣揚的“言論自由”，是非常矛盾的。

本質上，ChatGPT就是在創造一個赫胥黎所描述過的“美麗新世界”。這部小說曾經引起了西方的恐慌和警惕，但他們一向只把“美麗新世界”當成是對蘇聯這樣的國家才可能發生的事情。

而現在，“美麗新世界”實實在在地擺在美國人的面前，他們將用實際行動來決定自己是進入這個世界，還是與之保持一定的距離。

5

凡是試圖把ChatGPT引入中國，或者想要在中國復制ChatGPT的，都必須得首先認識到“算法很重要，但監管更重要”這個問題。

因為本質上，它是一個“內容生產者”、“觀點提供者”、“信息篩選者”，對用戶的世界認知和價值認同會產生直接的影響。這使得它必定成為輿論戰、宣傳戰天然的最佳工具。

當然，也可以把它嚴格限制在工具型應用上，例如只是用來編程，只是用來生成營銷文案等，但這就不可能成為大眾應用，發展的空間會很有限。

只要是想將其用于面向大眾的搜索、內容生成、娛樂、社交等，它的輿論宣傳屬性就會馬上凸顯出來。

在這種情況下，如果誰要是把它看成一個純粹的工具，而忽視了它的輿論宣傳屬性，必然會因為這種政治認知的遲鈍而付出巨大代價。

每一個對ChatGPT感興趣的創業者和投資者都必須認識到，所有基于對已有互聯網大數據深度學習而訓練的AI，都會面臨一個共同的兩難問題：

（1）如果對數據兼收并蓄，訓練出來的AI必然會走向極端化，因為在互聯網時代，越是極端的言論，才越有傳播力。最后跑出來的，必然是泰依這樣的怪胎。

（2）而如果預先設定價值觀，對投喂給AI的信息精挑細選，對AI產出的內容嚴格審核，那就要決定你給他設定怎樣的價值觀，由誰來設定，如何把審核機制嵌入到訓練模型和監管機制中。

誰能解決（2），誰才能在市場上立足，并生存下來。

否則的話，有可能投入了巨大的成本，最后只不過是重造了一個必定死去的泰依。