連魯迅都想不到，當(dāng)代網(wǎng)友為了省錢開(kāi)始說(shuō)文言文了。。

經(jīng)常用AI的朋友們都知道，要想AI用得爽，是得花錢的。大廠免費(fèi)給你用的版本，很可能是閹割版，智力有問(wèn)題，只會(huì)接住你的那種。

但這就有個(gè)問(wèn)題了：AI每次回答我，都用的是我花了錢的額度，有時(shí)候嘰里咕嚕說(shuō)一堆，效率巨低，額度還唰唰掉，心疼啊。

所以有沒(méi)有一種方法，能讓AI回答你問(wèn)題的時(shí)候，效率又高，還能省錢？

聰明的網(wǎng)友就想到了，漢語(yǔ)是世界上信息密度最高的語(yǔ)言，甚至文言文還是濃縮中的精華。。那我們用文言文跟AI聊天，對(duì)話篇幅大大減少，這算力省下來(lái)了，效率不就上來(lái)了，錢也扣得慢了，簡(jiǎn)直太完美了。

比如，把“我去，用戶徹底怒了”改成“嗚呼，客官震怒”，把“你先別給我瞎bb”改成“何出此言”，讓AI也用古文回我。

有老哥已經(jīng)直接詢問(wèn)AI了，答曰：可也。畢竟，古人拿文言文省竹簡(jiǎn)，又何嘗不是一種省token？

但也有人指出盲點(diǎn)：你省了token，消耗的不也是自己大腦的token嗎？

天縱之才也！

但實(shí)際上，江江經(jīng)過(guò)一系列嘗試后，可以給大家個(gè)結(jié)論了：

省token乎？謬也！

要搞清這個(gè)問(wèn)題，我們得先知道，AI的算力消耗其實(shí)看的不是字?jǐn)?shù)，而是token，可以理解為AI處理信息的最小單位。我們說(shuō)的省錢、省算力，其實(shí)就是省token。

于是，我們用DeepSeek V3的token計(jì)算器，做了幾個(gè)實(shí)驗(yàn)，結(jié)果嘛，非常反直覺(jué)。

比如，“用戶徹底怒了”是3個(gè)tokens，而“客官震怒”是4個(gè)tokens。

“永失吾愛(ài)”是4個(gè)tokens，“她永遠(yuǎn)不會(huì)回來(lái)了”卻是3個(gè)tokens。

甚至蒹葭蒼蒼4個(gè)字，就占了6個(gè)tokens，陜西著名美食面，更是來(lái)到了驚人的9個(gè)tokens。。

最神秘的還是“免費(fèi)在線觀看”這6個(gè)字，DeepSeek那占3個(gè)token，GPT那它只占1個(gè)token，沒(méi)有人知道GPT到底在線觀看了什么。

所以說(shuō)，字?jǐn)?shù)越少效率越高這事兒，還真是個(gè)純純的偽命題。

為啥會(huì)這樣呢？這就得從計(jì)算機(jī)是如何存儲(chǔ)文字的說(shuō)起了。

一個(gè)漢字在經(jīng)過(guò)計(jì)算機(jī)編碼后，會(huì)占3-4個(gè)字節(jié)，常用的字占3字節(jié)，而那些特別生僻的字，3字節(jié)放不下，就得占4個(gè)字節(jié)。而要把這些字節(jié)轉(zhuǎn)化為AI能讀懂的token，還得靠模型內(nèi)部算法，它的工作原理其實(shí)很像消消樂(lè)。

一開(kāi)始，所有漢字都被拆成字節(jié)存放，此時(shí)一個(gè)字節(jié)就是一個(gè)token。然后算法為了省算力，就會(huì)找那些相鄰位置出現(xiàn)最頻繁的字節(jié)，把它們合并成一個(gè)新的token。

比如"你""我""他"這些漢字對(duì)應(yīng)的字節(jié)，成天組隊(duì)出現(xiàn)，算法就直接給他們合并了，所以這些字就只占1個(gè)token。

甚至出現(xiàn)次數(shù)過(guò)多的詞語(yǔ)，也會(huì)被合并成1個(gè)token，比如“用戶”“徹底”“瘋狂”，甚至“免費(fèi)在線觀看”這個(gè)詞，都可以成為一個(gè)token。

而那些出現(xiàn)幾率少的字，比如“蒹”“葭”“饕”“餮”，在訓(xùn)練數(shù)據(jù)里寥寥無(wú)幾，BPE找不出字節(jié)內(nèi)在的關(guān)聯(lián)，就像小學(xué)生把不認(rèn)識(shí)的字寫(xiě)成拼音，那就只能保存為幾個(gè)零散的token了，于是1個(gè)字就會(huì)等于多個(gè)tokens。

而因?yàn)榈讓拥木幋a方式，導(dǎo)致所有字符的編碼最多4個(gè)字節(jié)，如果一個(gè)字巨生僻，打都打不出來(lái)，它就只能像金針菇一樣，進(jìn)去啥樣出來(lái)還是啥樣，不會(huì)被合并，所以，1個(gè)漢字消耗tokens的最大值，就是4個(gè)。

因此，文言文愛(ài)用的那些古典生僻字詞，在token的交易里，反而是奢侈品，每個(gè)字對(duì)AI來(lái)說(shuō)都很燒腦。

那既然用文言文不省token，那我要說(shuō)啥語(yǔ)言才能省啊？

江江的結(jié)論是，沒(méi)有結(jié)論。因?yàn)椋煌Ｐ偷膖okenizer，也就是token計(jì)算器完全不一樣。我們拿同樣的文本在OpenAI和DeepSeek那里都跑了一下，結(jié)果就截然不同，同一個(gè)字在OpenAI這邊可能是2個(gè)token，在DeepSeek那邊就是1個(gè)。

這是因?yàn)閠oken怎么合并，取決于大模型的訓(xùn)練語(yǔ)料，而不同公司的訓(xùn)練語(yǔ)料構(gòu)成差異巨大。

OpenAI的模型早期以英文語(yǔ)料為主，在token合并上，自然對(duì)英文更慷慨；DeepSeek等國(guó)產(chǎn)模型吃了大量中文語(yǔ)料，中文的高頻組合見(jiàn)多了，自然就合并得更充分。

當(dāng)然，模型也在不斷進(jìn)步，各家都在擴(kuò)大多語(yǔ)言語(yǔ)料的覆蓋，不同語(yǔ)言差距已經(jīng)變得越來(lái)越小，所以除非你能把每個(gè)模型的token表背下來(lái)，不然咱不建議為了三瓜倆棗，拋棄自己舒服的交流方式。

如果非要給個(gè)建議，你可以試試用文言文的思路說(shuō)白話文，比如"你吃飯了沒(méi)有？"說(shuō)成"吃了否"，“你是不是有毛病”說(shuō)成“毛病乎？”

用你自己的大腦模擬一下，找到耗token最少的表達(dá)方式，主觀能動(dòng)性不就來(lái)了！

但講道理，還是不如少說(shuō)廢話，奧特曼就曾經(jīng)說(shuō)過(guò)，你們整天給AI說(shuō)謝謝，搞得我們已經(jīng)多花幾千萬(wàn)刀了，與其在形式上下功夫省token，不如從根源杜絕那些不必要的廢話。

雖然我根本忍不住，誰(shuí)能忍住不問(wèn)候兩句呢？

最后，其實(shí)還有個(gè)很有意思的視角。就算真有種信息密度大的語(yǔ)言，把token省了，最后費(fèi)的還是你的腦子。

因?yàn)槿绻环N語(yǔ)言信息密度大，那也意味著，單個(gè)token表達(dá)的意思很多，歧義也會(huì)變大，咱就只能靠上下文理解來(lái)消歧，說(shuō)白了 token 是省了，你還得自己費(fèi)腦子理解。

比如，給你三分鐘，你能讀懂“用奶牛的牛牛牛奶，奶牛會(huì)不會(huì)被牛死”嗎？

所以，其實(shí)token在某種意義上是守恒的，AI省的越多，你大腦消耗的token越多，耗費(fèi)的還是自己的儲(chǔ)存的能量。

你想花錢更快，還是肚子餓得更快，就看你自己的選擇了。

撰文：不咕

編輯：江江&面線

美編：素描

圖片、資料來(lái)源：

小紅書(shū)、X、部分圖源自互聯(lián)網(wǎng)