蘇煒杰：AI需要一門新的數(shù)學(xué)語言

資料圖。本文來源：北京商報、中國國創(chuàng)會

本賬號接受投稿，投稿郵箱：jingjixuejiaquan@126.com

蘇煒杰資料圖。本文來源：量子位

本賬號接受投稿，投稿郵箱：jingjixuejiaquan@126.com

蘇煒杰：AI需要一門新的數(shù)學(xué)語言

哪些AI均衡點我們絕對不想要？

量子位：恭喜獲獎。這是針對您過去一系列貢獻頒發(fā)的獎，如果讓您自己選一篇最滿意的工作，會是哪篇？

蘇煒杰：最滿意的不好說，但最有趣的有一篇。ICML最近有一個改動，要求作者自己對投稿論文做一個質(zhì)量排序。

這個做法，其實和我五年前的一篇論文有關(guān)。核心觀點大致是：既然作者往往是自己論文最好的審稿人，何不引入一種由作者本人參與的評分機制？

這篇論文的ROI很高。從有想法到寫完，總共不到兩周，時間主要花在語言潤色和補充文獻上，那還是在ChatGPT出現(xiàn)之前。

放在現(xiàn)在，可能兩天就能寫完。

量子位：這篇論文的核心思路涉及博弈論，和經(jīng)濟學(xué)相關(guān)。您在本科階段也有經(jīng)濟學(xué)背景，當時怎么會對經(jīng)濟學(xué)感興趣？

蘇煒杰：其實最開始并不是出于興趣。我在北大的時候主修數(shù)學(xué)，之所以修了經(jīng)濟學(xué)雙學(xué)位，是因為當時的女朋友（即現(xiàn)在的妻子）選了這個項目。

她偏文科。經(jīng)濟學(xué)雖然屬于文科，但需要高數(shù)、概率論等基礎(chǔ)，所以她希望我也一起學(xué)，互相支持。

但后來發(fā)現(xiàn)，經(jīng)濟學(xué)讓我學(xué)會一種不同于純數(shù)學(xué)的思維方式。

學(xué)純數(shù)學(xué)，很容易形成一種確定性的世界觀：世界是完備的、有結(jié)構(gòu)的，可以用精確語言描述；如果暫時無法刻畫，那是我們的數(shù)學(xué)工具還不夠成熟。

接觸經(jīng)濟學(xué)之后，會意識到真實世界并不具備那樣的確定性。世界是混沌的，很多問題只能做近似描述，終極理性往往不存在，或永遠無法逼近。

量子位：如今的AI同樣很難完全用純數(shù)學(xué)解釋清楚。您覺得經(jīng)濟學(xué)思維，對您現(xiàn)在的研究有什么影響？

蘇煒杰：我的核心訓(xùn)練仍然是數(shù)學(xué)、統(tǒng)計和優(yōu)化，但經(jīng)濟學(xué)會讓你更關(guān)注「人」這個共同體。經(jīng)濟學(xué)研究的本質(zhì)，是人的行為，以及人在制度和市場中的互動。

我們組里有一部分研究，就是從經(jīng)濟學(xué)視角出發(fā)，討論AI對齊在人類社會結(jié)構(gòu)中的意義。

AI未來會全方位影響人類社會。現(xiàn)在大家更多討論的是個人用戶怎么做agent、怎么讓個人更滿意，但AI對社會的影響是什么、會怎樣演化，這更接近經(jīng)濟學(xué)研究的范疇。

AI由人類數(shù)據(jù)訓(xùn)練而來，會繼承人類偏好。另一方面，越來越多年輕人開始用AI，這一過程中，AI的價值觀也在反過來影響人類。

所以問題來了：現(xiàn)有算法，能不能把這些偏好完整、準確地轉(zhuǎn)移到AI里？

我們希望AI對齊人類偏好。但這些偏好如何定義？如何聚合？

主流方案還是獎勵模型配合強化學(xué)習，把偏好的信息結(jié)構(gòu)都編碼進去。不過，目前常用的一些相對簡單的統(tǒng)計模型，沒法完美表達真實的人類偏好。

我們有一項工作討論了投票悖論：當候選項至少有三個時，群體偏好可能出現(xiàn)循環(huán)——A優(yōu)于B、B優(yōu)于C、C又優(yōu)于A。

這種情況下，現(xiàn)有損失函數(shù)或獎勵模型是有缺口的。如果這種偏差長期存在，可能會把AI的偏好推向某個不確定方向，最后收斂到一個我們不希望看到的均衡點。

量子位：那最終應(yīng)該達到的均衡點在哪里？「人類偏好」至今也沒有統(tǒng)一定義，不同國家對善惡的判斷標準都不一樣。

蘇煒杰：的確，偏好不存在絕對客觀、唯一最優(yōu)的標準。

但可以確定的是：哪些偏好我們不會想看到？

我舉個例子。AI領(lǐng)域論文審稿正在逐步滑向一個不太好的平衡點。

以前論文少、節(jié)奏慢，一個人一年審幾篇，大家還是愿意花時間把審稿做好。

但現(xiàn)在投稿太多了、審稿人又太少。很多人覺得自己的論文被一些不認真、質(zhì)量不高的審稿意見影響了，于是會想：憑什么我要認真審別人的論文？

當越來越多人都有這種想法，他們自己當審稿人時也不會認真投入，結(jié)果就是惡性循環(huán)，審稿質(zhì)量越來越差。

量子位：用AI審稿會是一個好的解決方案嗎？

蘇煒杰：人類審稿有個常見問題：審稿人說作者「沒做某件事」，但其實論文在別的段落已經(jīng)寫了，只是審稿人沒看到。

我今年也在ICML委員會負責相關(guān)工作，根據(jù)經(jīng)驗和數(shù)據(jù)來看，AI在「信息抓取」類任務(wù)上往往優(yōu)于人。

不過，現(xiàn)在很多人習慣把審稿「托管」給AI，讓它直接生成審稿意見。

這里面還有個問題：市面上主流的AI就那么幾個。

審稿的一個重要價值是多樣性。不同審稿人從不同經(jīng)驗和偏好出發(fā)，能看到論文的不同面向。

如果大家都用一樣的AI來審稿，意見就會千篇一律，這件事就沒意義了。

幻覺的問題則更加嚴峻。

學(xué)術(shù)有個特點——論文是寫給未來的。

每一篇論文不是寫完就結(jié)束，它會存檔，掛在數(shù)據(jù)庫里，很多年后都還可能被引用。

所以學(xué)術(shù)對信息準確性的要求非常高。幻覺如果出現(xiàn)在某一篇論文里，后續(xù)被重復(fù)引用幾十次，可能會被當作既定事實。這對人類知識傳承是很可怕的。

實話說，今年我們已經(jīng)看到不少論文明顯是AI生成的，關(guān)鍵是其中引用的文獻根本搜不到。

其他部分作者還可能辯解說：「我只是寫作風格像AI。」但文獻不存在這種事，是沒辦法辯駁的。

學(xué)術(shù)通常被認為是人類智力活動密度最高的領(lǐng)域之一。當這個領(lǐng)域都開始讓人類退場，這是個非常危險的信號。

像「剝洋蔥」一樣優(yōu)化AI黑盒

量子位：您在之前的訪談中經(jīng)常提到「可解釋性」和「可信部署」。這方面最近有什么研究進展嗎？

蘇煒杰：坦白說，我在可解釋性方面直接做得不算多。有一些朋友在做機制可解釋性（Mechanistic Interpretability），我非常敬佩他們的工作。

我對這個領(lǐng)域的前景持謹慎態(tài)度，但我希望我的判斷是錯的。

想把AI從「黑盒」變成「白盒」，徹底理解它的內(nèi)部機制，可能需要先重新定義什么是「理解」。

以往我們談理解，比如理解物理現(xiàn)象，可被逼近的。

比夸克更小的基本粒子是什么？暫時不清楚，更多是因為知識和工具還不夠。隨著技術(shù)發(fā)展，這類問題的「理解」難度是會降低的。

但AI的發(fā)展目標從來就不是為了「可解釋性」。更強能力的背后是Scaling，而模型越大，可解釋性往往越弱。

另一方面，如果AI想做到可解釋，那么人類大腦應(yīng)該也是可解釋的。

我們研究人類大腦已經(jīng)兩千多年了，至今也沒完全弄明白。憑什么認為一個生物大腦能完全理解另一個「硅基大腦」？何況這個硅基大腦還在變得越來越復(fù)雜。

或許我們可以換個思路：從「表現(xiàn)」出發(fā)。

對AI的行為做更準則化的刻畫，在這些準則下，對不確定性做概率或統(tǒng)計意義上的描述，建立可用的規(guī)范。

這樣，即便沒法完全理解內(nèi)部機制，也能在現(xiàn)實部署中更好地控制風險。在這方面，統(tǒng)計學(xué)和運籌學(xué)會有很大的發(fā)揮空間。

以我們做的偏好對齊工作為例。這類任務(wù)不像數(shù)學(xué)證明那樣可以驗證為真或假，很多時候，它是在A和B之間形成一個概率分布。

因此，我們干脆從一開始就把Transformer當作黑盒，不關(guān)心其內(nèi)部具體機制，而是把它視為一個概率輸出器：給定輸入，它輸出落在A與B之間的概率。

然后我們設(shè)計損失函數(shù)，讓這個概率分布的最優(yōu)解達到我們希望的目標。這個過程不需要理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)，把它當作黑盒來優(yōu)化就可以。

我現(xiàn)在更傾向于把可解釋性看作「剝洋蔥」。

神經(jīng)網(wǎng)絡(luò)是黑盒，但它不是一整塊不可穿透的黑鐵，它更像由很多層黑紗布疊在一起。疊得越多，整體看起來越黑。但單獨看每一層，它可能還能透過百分之七八十的光。

人腦很難做清晰的層次劃分，但神經(jīng)網(wǎng)絡(luò)是分層結(jié)構(gòu)。我們可以像剝洋蔥一樣，將神經(jīng)網(wǎng)絡(luò)一層層剝開。

但沒必要全剝開。一個20層的網(wǎng)絡(luò)，也許剝開兩三層就能得到很多線索。底層的部分，更多是在做細碎的特征提取，沒必要理解，也理解不了。

當然，有些情況還是要多剝幾層。

我有位做對齊的朋友之前說，有時候兩個模型看起來對齊程度差不多，其實內(nèi)部的對齊模式完全不一樣。一個是真正「認同」并內(nèi)化了對齊目標，另一個可能只是裝的。

這種情況的確需要多剝幾層才能看得更清楚，但也沒必要完全白盒化，難度太大。

未來學(xué)術(shù)界需要做的，是在「有限黑盒」的條件下，把機制層面的證據(jù)和行為層面的表現(xiàn)結(jié)合起來，找到一個相對平衡的方案。

如何把隱私保護變成一種「內(nèi)生動力」？

量子位：隱私保護是您深耕的領(lǐng)域，為什么會關(guān)注這個方向？有沒有一個具體契機？

蘇煒杰：契機在2014年暑假。當時我讀博第三年，去微軟研究院硅谷分部實習，跟著Cynthia Dwork做研究。

Cynthia是差分隱私的提出者之一。在她的引導(dǎo)下，我很自然地進入了這個領(lǐng)域。她經(jīng)常從第一性原理，甚至從倫理學(xué)的角度去理解隱私，這對我沖擊很大：生活中一個相對「軟」的概念，竟然能用嚴謹?shù)臄?shù)學(xué)語言講清楚。

我的意思是，這個領(lǐng)域能從偏社會、偏經(jīng)濟學(xué)的問題出發(fā)，最后延展到非常理論化、數(shù)學(xué)化的定義。跨度特別大，能同時連接機器學(xué)習、統(tǒng)計、數(shù)學(xué)、理論計算機等多個學(xué)科，匯集很多不同背景的人。

差分隱私在相對傳統(tǒng)的機器學(xué)習場景里用得很成功。它的基本思想是：數(shù)據(jù)集中某一個人的數(shù)據(jù)發(fā)生變化（比如把張三換成李四），算法的輸出不要有太大變化。 這樣外界就很難從輸出結(jié)果反推出到底是張三還是李四。

在傳統(tǒng)機器學(xué)習里，這種依賴關(guān)系相對容易刻畫。比如用影響函數(shù)（Influence Function）之類的方法，可以清楚地描述某個數(shù)據(jù)點對模型輸出的影響。既然依賴關(guān)系能刻畫，就可以通過加噪音，把張三和李四帶來的差異「抹平」。

但進入神經(jīng)網(wǎng)絡(luò)時代后，隱私保護遇到了很大挑戰(zhàn)。核心原因還是黑盒：訓(xùn)練數(shù)據(jù)集與模型輸出之間的關(guān)系很難精確刻畫。

你對數(shù)據(jù)集做一點變化，比如新增一個人，或者把一個人替換成另一個人，神經(jīng)網(wǎng)絡(luò)的輸出預(yù)測會怎么變化，很難描述。

所以差分隱私那套理論現(xiàn)在很難直接用，往往需要加過大噪音來保證隱私，結(jié)果就是模型能力下降。

量子位：網(wǎng)上有不少意見領(lǐng)袖，尤其是極客群體，會覺得隱私是偽需求。認為只要效用足夠大，比如把所有數(shù)據(jù)都交給OpenClaw，它真能變成「賈維斯」，那隱私成本是可以接受的。

蘇煒杰：短期看，這種想法確實有其道理。把更多信息交給AI，它對你理解更深，給出的建議更準確、更貼合，你做決定也更省事。

但長期來看，這更像是一個社會學(xué)事件。也許要等到某一天，隱私泄露造成了非常嚴重的后果，大家才會反應(yīng)過來。

以前在搜索引擎時代，你輸入的信息相對有限，通常只是關(guān)鍵詞。但現(xiàn)在這些AI公司對人的理解越來越私人化和全方位。這種潛在的濫用風險是巨大的。

量子位：安全配套往往滯后于技術(shù)發(fā)展，如果想讓隱私保護跟上技術(shù)進展，有什么可行措施？把隱私當成商業(yè)化方向，通過商業(yè)驅(qū)動讓更多人參與，會不會更現(xiàn)實？

蘇煒杰：可以從三點來談。

第一，更分層、更分級的隱私目標，而不是一刀切。

差分隱私很強，有時甚至過于強。把隱私保護放在絕對第一位，在很多場景下其實不太現(xiàn)實。

是否可以找到一個中間地帶？部分隱私在一定范圍內(nèi)允許暴露，但在一些更關(guān)鍵、更敏感、涉及安全或重大經(jīng)濟后果的領(lǐng)域，把控得更嚴格一些。

第二，從社會層面還是要持續(xù)強調(diào)隱私的重要性。

AI發(fā)展是當務(wù)之急，很難單純用隱私去約束參與者，讓大家不要做AI。

但不能忘記這個共識：隱私是重要的。 我們也許在當下會做一些權(quán)衡，甚至做一些妥協(xié)，但不能把這種妥協(xié)包裝成「完備的選擇」，從而放棄了追求更好的保護。

第三，設(shè)計一種類似區(qū)塊鏈的激勵結(jié)構(gòu)，將隱私保護從「外部要求」轉(zhuǎn)化為「內(nèi)生動力」。

不要指望公司靠道德自覺。從商業(yè)運作規(guī)律來看，只有當「保護隱私對公司有利」，有助于實現(xiàn)公司自身利益最大化時，它自然就會去做。

關(guān)鍵在于：如何把隱私變成一種「可交易的價值」，讓公司主動去保護隱私？

比特幣是個很典型的例子。它是靠機制設(shè)計，讓參與者在追求自身利益的同時，讓整個系統(tǒng)自然運轉(zhuǎn)起來。

如果我們也能設(shè)計出類似的機制，讓保護隱私成為企業(yè)利益的一部分，問題就迎刃而解了。

AI需要一套全新的數(shù)學(xué)語言

量子位：您在一次訪談中引用過一句話：「There’s nothing more practical than a good theory」（沒有什么比好的理論更實用）。

聽起來挺反直覺的。當「理論」和「實踐」放在一起時，理論往往顯得不那么「實用」。

蘇煒杰：在AI這樣一個全球可能有數(shù)千萬人參與的宏大系統(tǒng)中，不存在某一種范式絕對優(yōu)于另一種。

計算機背景的人在參與，數(shù)學(xué)背景的人在參與，經(jīng)濟學(xué)家也在參與；計算機內(nèi)部又細分為理論、工程、硬件等多個方向。大家都是從不同角度、用不同手段推進同一件事，沒有誰比誰更高明之分。

但在當下的AI發(fā)展進程中，具備扎實理論訓(xùn)練、特別是深厚數(shù)學(xué)背景的人才，參與比例相對偏少。

我觀察到的部分原因是：這些同學(xué)覺得AI缺乏純數(shù)學(xué)那種特有的「優(yōu)美感」。

這很正常，我學(xué)生時代也有這種想法。但隨著年齡增長，人往往也會開始在意自己所做的事情對社會、對整個人類的影響力。

換個角度看，正因為AI現(xiàn)在看起來還「不夠優(yōu)美」，它才更有機會被變得更「優(yōu)美」。

人類現(xiàn)有的大部分數(shù)學(xué)體系，其實是伴隨物理學(xué)發(fā)展起來的。18到20世紀的許多數(shù)學(xué)結(jié)構(gòu)，與牛頓力學(xué)、電磁學(xué)、相對論、量子力學(xué)等物理理論相互促進，形成了今天這套非常成熟的語言。

AI可能就是一種「新的物理」，而且它在結(jié)構(gòu)上與傳統(tǒng)物理很不一樣。

物理學(xué)更像是一個從底層機制出發(fā)決定宏觀行為的過程，是「從小到大」；

而AI更多是從大到小：先設(shè)計一個大框架，比如Transformer有幾層、層與層怎么連接，先定下宏觀結(jié)構(gòu)，再在訓(xùn)練過程中逐步確定每一個參數(shù)。

這也解釋了為什么如今AI在理論方向相對滯后：未必是做AI理論的人不夠聰明，而是我們現(xiàn)有的數(shù)學(xué)語言，可能本來就不太適合描述AI。

所以我希望未來會有更多受過基礎(chǔ)數(shù)學(xué)、純數(shù)學(xué)訓(xùn)練的人進入AI領(lǐng)域，去逐步創(chuàng)造一套更適合AI的數(shù)學(xué)框架。

這件事的影響力將非常巨大，其意義不會低于經(jīng)典力學(xué)或相對論。

量子位：您會建議大學(xué)生多參加產(chǎn)業(yè)界的活動嗎？比如去OpenAI、谷歌實習。

蘇煒杰：如果有機會，當然很好。但現(xiàn)在去大廠實習的門檻越來越高了。

這個時代信息獲取的成本其實很低。如果目的是更好地了解AI，完全可以去修幾門計算機相關(guān)課程，或者找做AI的同學(xué)聊一聊。

自己部署一個開源模型也不難，親手搭建一個Agent，那種體驗跟只在網(wǎng)頁端對話完全不同，會讓你的理解更加立體。

我也鼓勵大家多關(guān)注新聞媒體的AI報道，最好每天都看。AI的發(fā)展節(jié)奏非常快，幾天就可能有明顯變化。看得多了，你自然會對趨勢有把握，也更容易產(chǎn)生興趣。

量子位：現(xiàn)在很多人不愿意繼續(xù)深造讀博；就算讀了，也有人會選擇輟學(xué)，轉(zhuǎn)去大廠做研究。

蘇煒杰：在AI的沖擊下，一些學(xué)校，尤其是排名不高的學(xué)校的價值確實會受到質(zhì)疑。如果僅僅是為了「學(xué)東西」，這種價值在當下可能沒那么稀缺了。

AI這個領(lǐng)域很結(jié)果至上：只要你做出成績，很快就能獲得認可。你在GitHub上做出一個好項目，很快就能被全世界看到。

事實上，一些AI的關(guān)鍵技術(shù)，包括我自己關(guān)注的優(yōu)化器方向，很多都是本科學(xué)歷的人做出來的。

說實話，這讓學(xué)界有點汗顏。按過去的經(jīng)驗，這類工作往往需要比較系統(tǒng)的博士訓(xùn)練才能產(chǎn)出。

但這種模式也存在隱患。現(xiàn)在很多論文作者是獨立研究者（Independent Researcher），不在學(xué)校體系內(nèi)。

這類論文常見的特點是想法天馬行空；但有時錯誤也很多，論證漏洞和誤差比較夸張，質(zhì)量上下波動極大。

學(xué)校的反饋還是很重要，老師指導(dǎo)、考試機制，這些都會給你反饋，讓你清楚自己掌握到了什么程度。

很多人覺得自己跟AI對話、靠AI學(xué)習就「學(xué)會了」，但其實基礎(chǔ)沒打牢，并沒有真正懂。

量子位：學(xué)校里有老師、有考試，可以判斷學(xué)生掌握得扎不扎實。但產(chǎn)業(yè)界也有反饋機制，能提供更多的算力，讓學(xué)生更快驗證想法。

蘇煒杰：我覺得這也不是完全的競爭關(guān)系。無論如何，初等教育階段仍然需要在學(xué)校體系里完成，這是基礎(chǔ)。

另外，大廠也不是擁有無限算力。公司層面雖然不缺卡，但落實到具體的研究員或團隊，資源依然是有限的，內(nèi)部也存在競爭，并不是每個人都可以隨時拿到無限量的算力。

如果讓我給建議：在美國這邊，我更傾向于建議學(xué)生先把課好好上完，不要高中畢業(yè)就直接去公司做AI。

國內(nèi)的話，目前對學(xué)歷的重視程度總體還是比較高，但如果你真的覺得自己準備好了，也可以勇敢一點。

量子位：您現(xiàn)在在實際生活中會用AI嗎？在您數(shù)學(xué)研究的工作流里，它的幫助程度怎么樣？

蘇煒杰：幫助越來越大。兩年前ChatGPT剛出來時，我們主要用它做文字修飾。

但現(xiàn)在不一樣了。AI在學(xué)術(shù)上已經(jīng)可以扮演一個很好的「隨身合作者」。

這里的「合作者」不是指科研完成后再交給它提建議，而是當你做到一半、甚至還沒成形時，就可以隨時拿一個想法與它交流：這個方向行不行？這樣做有沒有漏洞？有沒有更好的途徑？

有時，它給出的反饋甚至會改變我原來的思路。

量子位：這幾年學(xué)術(shù)界和產(chǎn)業(yè)界好像走得越來越遠，很多學(xué)術(shù)人才也被吸到產(chǎn)業(yè)界。這種背景下，學(xué)術(shù)界有什么可以做的嗎？

蘇煒杰：學(xué)術(shù)界確實受到了很大沖擊。博士生更愿意去業(yè)界，留下來走學(xué)術(shù)路線的人比以前少了很多。但我覺得這可能只是個短期現(xiàn)象。

正如Ilya所說，Scaling Law帶來的邊際收益在下降，這是一個比較明確的趨勢。

當Scaling的空間因為物理限制、成本限制而難以繼續(xù)擴張時，大家就必須回到算法和結(jié)構(gòu)上來——怎么在不增加數(shù)據(jù)、不增加算力的前提下，把現(xiàn)有資源用得更好？

這類在資源受限條件下尋求改進的范式，恰恰是學(xué)術(shù)界更擅長的。

量子位：AI時代的學(xué)生，最重要的特質(zhì)是什么？

蘇煒杰：說實話，絕大多數(shù)大學(xué)現(xiàn)有的培養(yǎng)模式，不太適合AI時代。這也導(dǎo)致在美國這邊，本科生就業(yè)沖擊很大，很多人找不到工作。

陶哲軒最近在訪談中提到，數(shù)學(xué)學(xué)科的教學(xué)方式兩百年幾乎沒變。他拿出兩百年前柯西的教材，和今天的教材差別不大。

但AI會迫使這種局面改變。

人類在學(xué)習純理論學(xué)科時，很多細節(jié)、偏技術(shù)的部分，可能會逐步轉(zhuǎn)交給AI。基本功仍然需要，但什么叫「基本功」可能要重新定義，因為人在熟練度上不可能超過AI。

被動學(xué)習和主動學(xué)習的差距會越來越大。

過去在學(xué)校上課，差距沒那么夸張，因為課堂的信息量有限，人與人之間的差異不會拉開到幾個數(shù)量級。

但在AI時代，如果只是坐著聽課，和那些主動探索，甚至自己利用AI創(chuàng)造工具的人相比，信息上限差太多了，未來的發(fā)展可能會差出好幾倍。■

掃碼入群可參加全年至少12場精彩閉門研討