![]()
經常用AI的朋友們都知道,要想AI用得爽,是得花錢的。大廠免費給你用的版本,很可能是閹割版,智力有問題,只會接住你的那種。
![]()
但這就有個問題了:AI每次回答我,都用的是我花了錢的額度,有時候嘰里咕嚕說一堆,效率巨低,額度還唰唰掉,心疼啊。
所以有沒有一種方法,能讓AI回答你問題的時候,效率又高,還能省錢?
聰明的網友就想到了,漢語是世界上信息密度最高的語言,甚至文言文還是濃縮中的精華。。那我們用文言文跟AI聊天,對話篇幅大大減少,這算力省下來了,效率不就上來了,錢也扣得慢了,簡直太完美了。
![]()
比如,把“我去,用戶徹底怒了”改成“嗚呼,客官震怒”,把“你先別給我瞎bb”改成“何出此言”,讓AI也用古文回我。
![]()
有老哥已經直接詢問AI了,答曰:可也。畢竟,古人拿文言文省竹簡,又何嘗不是一種省token?
![]()
但也有人指出盲點:你省了token,消耗的不也是自己大腦的token嗎?
![]()
天縱之才也!
但實際上,江江經過一系列嘗試后,可以給大家個結論了:
省token乎?謬也!
要搞清這個問題,我們得先知道,AI的算力消耗其實看的不是字數,而是token,可以理解為AI處理信息的最小單位。我們說的省錢、省算力,其實就是省token。
于是,我們用DeepSeek V3的token計算器,做了幾個實驗,結果嘛,非常反直覺。
比如,“用戶徹底怒了”是3個tokens,而“客官震怒”是4個tokens。
![]()
“永失吾愛”是4個tokens,“她永遠不會回來了”卻是3個tokens。
![]()
甚至蒹葭蒼蒼4個字,就占了6個tokens,陜西著名美食面,更是來到了驚人的9個tokens。。
![]()
最神秘的還是“免費在線觀看”這6個字,DeepSeek那占3個token,GPT那它只占1個token,沒有人知道GPT到底在線觀看了什么。
![]()
![]()
所以說,字數越少效率越高這事兒,還真是個純純的偽命題。
為啥會這樣呢?這就得從計算機是如何存儲文字的說起了。
一個漢字在經過計算機編碼后,會占3-4個字節,常用的字占3字節,而那些特別生僻的字,3字節放不下,就得占4個字節。而要把這些字節轉化為AI能讀懂的token,還得靠模型內部算法,它的工作原理其實很像消消樂。
一開始,所有漢字都被拆成字節存放,此時一個字節就是一個token。然后算法為了省算力,就會找那些相鄰位置出現最頻繁的字節,把它們合并成一個新的token。
比如"你""我""他"這些漢字對應的字節,成天組隊出現,算法就直接給他們合并了,所以這些字就只占1個token。
![]()
甚至出現次數過多的詞語,也會被合并成1個token,比如“用戶”“徹底”“瘋狂”,甚至“免費在線觀看”這個詞,都可以成為一個token。
而那些出現幾率少的字,比如“蒹”“葭”“饕”“餮”,在訓練數據里寥寥無幾,BPE找不出字節內在的關聯,就像小學生把不認識的字寫成拼音,那就只能保存為幾個零散的token了,于是1個字就會等于多個tokens。
![]()
而因為底層的編碼方式,導致所有字符的編碼最多4個字節,如果一個字巨生僻,打都打不出來,它就只能像金針菇一樣,進去啥樣出來還是啥樣,不會被合并,所以,1個漢字消耗tokens的最大值,就是4個。
因此,文言文愛用的那些古典生僻字詞,在token的交易里,反而是奢侈品,每個字對AI來說都很燒腦。
那既然用文言文不省token,那我要說啥語言才能省啊?
江江的結論是,沒有結論。因為,不同模型的tokenizer,也就是token計算器完全不一樣。我們拿同樣的文本在OpenAI和DeepSeek那里都跑了一下,結果就截然不同,同一個字在OpenAI這邊可能是2個token,在DeepSeek那邊就是1個。
![]()
![]()
這是因為token怎么合并,取決于大模型的訓練語料,而不同公司的訓練語料構成差異巨大。
OpenAI的模型早期以英文語料為主,在token合并上,自然對英文更慷慨;DeepSeek等國產模型吃了大量中文語料,中文的高頻組合見多了,自然就合并得更充分。
當然,模型也在不斷進步,各家都在擴大多語言語料的覆蓋,不同語言差距已經變得越來越小,所以除非你能把每個模型的token表背下來,不然咱不建議為了三瓜倆棗,拋棄自己舒服的交流方式。
![]()
如果非要給個建議,你可以試試用文言文的思路說白話文,比如"你吃飯了沒有?"說成"吃了否",“你是不是有毛病”說成“毛病乎?”
用你自己的大腦模擬一下,找到耗token最少的表達方式,主觀能動性不就來了!
但講道理,還是不如少說廢話,奧特曼就曾經說過,你們整天給AI說謝謝,搞得我們已經多花幾千萬刀了,與其在形式上下功夫省token,不如從根源杜絕那些不必要的廢話。
![]()
雖然我根本忍不住,誰能忍住不問候兩句呢?
![]()
最后,其實還有個很有意思的視角。就算真有種信息密度大的語言,把token省了,最后費的還是你的腦子。
因為如果一種語言信息密度大,那也意味著,單個token表達的意思很多,歧義也會變大,咱就只能靠上下文理解來消歧,說白了 token 是省了,你還得自己費腦子理解。
比如,給你三分鐘,你能讀懂“用奶牛的牛牛牛奶,奶牛會不會被牛死”嗎?
![]()
所以,其實token在某種意義上是守恒的,AI省的越多,你大腦消耗的token越多,耗費的還是自己的儲存的能量。
你想花錢更快,還是肚子餓得更快,就看你自己的選擇了。
撰文:不咕
編輯:江江&面線
美編:素描
圖片、資料來源:
小紅書、X、部分圖源自互聯網
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.