他們認識香蕉也認識黃色，卻不知道香蕉是黃色的

如果給你看一張香蕉的黑白照片，并問：“它原本是什么顏色？”你大概會脫口而出：黃色。畢竟，香蕉實在是再令人熟悉不過了。

但世界上偏偏有這樣一小撮人，他們認識香蕉，也認識黃色。可當那張黑白照片擺在面前時，他們卻不知道香蕉的顏色。哪怕眼前是一張紅色香蕉的圖片，他們也未必會覺得哪里不對。

北京大學畢彥超團隊和山西醫科大學王效春團隊仔細研究[1]了這些人的大腦：他們的視覺皮層功能完好，視覺本身并未受損；真正“斷線”的，其實是視覺皮層與大腦中語言相關區域之間的聯系。

可這就更讓人困惑了。語言出了問題，為何會影響對視覺的理解？

盲人也能“看”到顏色

從出生起，我們便不停地和世界打交道，用眼睛看，用耳朵聽，用鼻子聞，用嘴巴嘗，用皮膚觸摸。正是通過這樣的方式，我們把無數的經驗和知識存進大腦，并在運用知識時重新調取，再次激活相應的神經通路。

不過，這些知識并不只存儲在相應的感知覺皮質里，大腦還會從這些具體的體驗中提取出更抽象的信息，整合后存放在一個名為前顳葉（ATL）的區域中。

可如果知識的基礎僅來自于感官體驗，那么無法親身感知的東西又該如何存進大腦呢？先天失明的人從未見過任何顏色。他們對顏色的理解會與視力健全者有區別嗎？

先天失明的人對顏色的理解會與視力健全者有區別嗎？丨圖蟲創意

為了回答這個問題，畢彥超團隊招募了一批先天性失明和早期失明的受試者[2]，讓他們回答了一系列問題：比如某種果蔬是什么顏色，以及不同果蔬的顏色是否相似。研究人員比較了這些受試者與視力健全者的大腦活動，結果發現，無論是否失明，表征顏色信息時他們前顳葉的活動都高度相似。

“盲人無法通過感官來獲得顏色知識，”畢彥超的博士研究生陳昊揚解釋道，“他們習得顏色知識的唯一途徑只能是語言。”

不過，視力健全者在表征顏色時會同時利用兩套系統：一套是前述的語言系統；另一套則是感覺系統，即視覺皮層直接看到的顏色。這是盲人受試者并不具備的能力。“也就是說，視力健全者既擁有來自視覺的具身經驗，同時語言本身也可以成為學習和整合知識的重要來源，而這些知識會存儲在前顳葉中。”陳昊揚補充道。

這兩套知識系統并非獨立運作。前顳葉會通過白質纖維束與視覺皮層保持溝通，二者在功能上彼此影響、相互配合。那么，當兩套系統之間的交流被強行切斷，會發生什么呢？

這就要說回文章開頭的那群人——一類特殊的卒中患者。他們的視覺皮層并未受損，視覺輸入依然完好；真正受損的，是連接前顳葉與視覺皮層的那束白質纖維。正是這樣一個看似不起眼的病灶，卻帶來了出乎意料的后果。

他們能認出圖片中的果蔬是否是香蕉、西紅柿或土豆，也能從一堆色塊中找出紅色或黃色。但如果擺在面前的是果蔬的灰度圖片，他們便無法判斷其顏色了。而且，白質纖維受損越嚴重的患者，就越難以判斷灰度果蔬的真實顏色，同時他們大腦活動中的顏色編碼也會更差。

他們認識香蕉也認識黃色，卻不知道香蕉是黃色的丨圖蟲創意

哪怕視覺功能完好無損，但只要語言缺位，我們可能也無法提取視覺相關的知識。

用AI來驗證，語言正在影響你“看見”的世界

語言會影響我們對視覺知識的存儲和提取，可誰又會莫名其妙開始回憶香蕉的顏色呢？這聽上去對日常生活沒什么影響。但是，在一篇近期發表于《自然·人類行為》[3]的論文中，畢彥超團隊聯合王效春團隊和北京大學朱毅鑫團隊，發現語言可能也會影響你此時此刻所“看見”的世界。

這一次，他們借助了人工智能（AI）模型。“因為如果只依靠人類受試者來研究語言對視覺的影響，會遇到一個非常棘手的問題，”陳昊揚解釋道，“在真實生活中，語言輸入和視覺輸入往往是高度耦合的，很難徹底區分兩者。”

譬如，當你學習“蘋果”這個詞時，往往是父母指著它告訴你這是“蘋果”。這種耦合讓科學家非常頭疼：我們無法確定一個概念的習得，究竟該歸功于耳朵聽到的“語言指令”，還是眼睛看到的“物理世界”。即便多項研究顯示聽到詞語會激活大腦視覺皮層，但仍舊無法斷言：這到底是語言系統對視覺的重塑，還是僅僅因為聽到詞匯觸發了視覺皮層對過往視覺經驗（即“蘋果”）的簡單回放——也就是常說的心理聯想。

人類大腦非常復雜丨Pixabay

而AI模型恰恰提供了一種前所未有的分離手段。研究人員可以嚴格控制輸入模型的數據類型，繼而比較在不同訓練條件下得到的模型如何響應同一幅視覺圖像，從而推斷不同模態的輸入有何影響。因此，研究團隊選取了三個架構相同、僅訓練時語言輸入不同的AI模型。

第一個AI模型是純視覺模型MoCo。它在訓練過程中只接受過圖片數據輸入，“認識世界”的方式完全依賴于視覺本身。

第二個模型是通過標簽進行監督訓練的視覺模型ResNet-50。在它的訓練過程中，每類圖片輸入都同時伴隨相應的語言標簽。譬如，上千張玫瑰花的圖片可能會對應于“玫瑰”或“rose”。畢彥超說：“可以將標簽理解為詞匯，人類會通過詞匯來從具體的感知中抽象出概念和分類。”

而第三個模型則是通過完整文本來監督訓練的視覺模型——OpenAI于2021年發布的CLIP。在它的訓練過程中，每張圖片都會對應于一句描述，類似于“木頭桌子上放著一個純白色的馬克杯”。

接下來，研究人員將此前在人類受試者實驗中使用過的圖片拋給了這些模型，觀察它們內部的反應模式，并與人類受試者在觀看同樣圖片時的大腦活動進行對比。這些圖片既包括單一物體的彩色圖像、果蔬的灰度圖像，也包括物體出現在不同場景中的復雜圖片。

研究結果顯示，給AI模型加入文本訓練后，它能習得一些特征，而這些特征恰恰和人類視覺皮層中那些由語言引發的獨特活動模式相似。而前文中提到的那批特殊卒中患者，由于語言的缺位，與健康受試者相反，他們的大腦反應更像那個只接受過視覺輸入的模型MoCo。

那批特殊卒中患者，他們的大腦反應更像那個只接受過視覺輸入的模型MoCo丨圖蟲創意

畢彥超解釋道：“在完好的人類大腦中，視覺和語言之間會不斷對話。可當這種對話被迫中斷之后，視覺系統就好像被解放了。而且，相比于人類的大腦，猴子的大腦活動也更接近純視覺的AI模型。”

此外，這些數據集中還包括早期失聰、但能熟練使用手語的聽障受試者的數據，他們的大腦活動同樣更接近CLIP模型。無論是通過語音、文字還是手語習得的語言，都可能會深刻地影響我們的視覺感知。

語言對認知的影響，可能被低估了

語言能在多大程度上影響人類認知，不同領域的研究者一直存在分歧。

早在20世紀，就有學者激進地提出：語言可能決定人類認知。隨著研究不斷深入，“現在已經很少有人再支持這樣的‘決定論’論調了，不過仍有相當一部分認知科學家相信，語言可能會調節我們的認知”，陳昊揚說道。

可語言究竟能“調節”哪個層級的認知，不同認知科學家依然看法不一。陳昊揚說：“大家普遍認為語言能影響高層次的認知活動，但對于視覺等最基礎的感知過程，許多認知科學家都認為語言無法真正‘穿透’。”

而在神經科學家眼中，人類與其他非人靈長類的大腦，在結構和功能上并沒有本質差異。畢彥超拿起辦公室桌上的梨：“比如說這顆梨，我們看到、摸到、吃下它后，就會對它形成感知，并為它貼上相應標簽。在這一點上，我們和動物是非常相似的。”

因此，許多神經科學家都認為，語言不過是一種交流工具。它是在動物已有的感知系統之上額外加裝的一套接口，沒有額外的功能，更不會影響我們對世界的感知。但在畢彥超看來，正因為科學家習慣用動物模型來理解人腦，才會一直低估語言對認知的影響。

從左到右依次為：朱毅鑫、畢彥超、王曉莎、陳昊揚｜圖片來源：畢彥超，中國神經科學學會認知神經生物學分會

畢彥超打了個比方：“鳥類的祖先演化出翅膀，活動范圍發生了質的飛躍，因此腿、肌肉乃至整個身體結構都隨之改變。同樣，經過漫長的演化，語言已經成了一種人類用來抽象編碼和組織信息的符號系統。這套系統一旦出現，我們就不再受限于感官本身，可以借助事物間的抽象關系，去理解那些無法被直接感知的概念。而視覺系統，也會開始‘聽見’語言系統傳遞來的信息，在不知不覺中受到影響。”

或許也正因為語言的抽象編碼中蘊藏著非凡的力量，大語言模型才得以如此廣泛地應用。在畢彥超看來，認知科學與AI研究，如今也正在這樣的浪潮中彼此靠近：“我們像是雙向奔赴著拼一幅拼圖。雖然AI模型的內部機制仍是黑箱，但它的輸入和輸出是清晰的；人腦中固然還有大量未解之謎，但解剖結構和生理數據就擺在那里。兩者可以相互啟發，用對方更熟悉的部分，去檢驗自己尚未理解的那一面。”

參考文獻

[1]https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003161

[2]https://www.cell.com/neuron/fulltext/S0896-6273(20)30279-8

[3]https://www.nature.com/articles/s41562-025-02357-5