浙江
最近科技圈和資本市場同時被一個叫做chatjimmy.ai的新物種刷屏了，初次徹底震驚了我。
在沒有英偉達高性能AI芯片的加持，這家硅谷初創(chuàng)公司Taalas就讓旗下大模型跑出了每秒1.5萬到1.7萬個Token。
這是什么概念？傳統(tǒng)的大模型每秒是跑一到兩千的Token，速度是它的1/10不到，
人話說就是，你把一道極其復雜的數(shù)學題發(fā)過去，傳統(tǒng)的AI模型還擱那一個勁思考呢，而它下一秒就羅列了好幾種解法給你看：
這個升級幅度，就好比是從算盤升級到計算器， 又是一個跨越式的進步。
那這個技術邏輯是怎么實現(xiàn)的呢？
最大的不同就是它把大模型的幾十億參數(shù)直接刻入硅片里面，
過去的芯片算力很強，但大模型和芯片之間數(shù)據(jù)需要傳輸，所以要借助HBM（顯存）來搬運，甚至可以說90%的電量和時間都浪費在了路上，
好比一個天才面對一個復雜問題，一秒鐘就給出了答案，但寄郵件卻耗費了大量的時間。
而現(xiàn)在大模型就內(nèi)嵌在芯片自身，它直接拋棄了昂貴的HBM顯存，數(shù)據(jù)不需要搬運了，因為“計算即存儲，存儲即計算”，于是一下就節(jié)省出大量的資源。
這就和淘寶出來后，直接對接工廠發(fā)貨，省去了實體店、中間商、庫存一樣。
那問題來了，如果要把大模型繪制在芯片上，模型豈不是被定死，那一旦老的模型失效要迭代，芯片豈不是就廢了？
這也是過去大家都不敢這么搞的原因，因為模型迭代太快了，而且專門繪制一個大模型芯片的成本也很高，動輒上億美金。
但如今隨著Transformer語言的普及，大語言模型越來越成熟，那么這種商業(yè)路徑成了可能。
而這次Taalas就是做了一個全自動的硅片編譯器，可以實現(xiàn)自動給芯片電路編碼，從而大幅提高效率降低成本。
效率方面，Taalas宣稱把“大模型”轉(zhuǎn)化為“定制芯片”的周期，可以從過去的一年降低到兩個月。
成本方面，由于它拋棄了昂貴的HBM芯片，加上GPU用的普遍是H100芯片，如果換到大模型專用芯片上，只需要使用價格僅為1/20的6nm芯片就可以搞定運算。
這種情況即便是出了新的更強大模型，它也可以直接報廢掉，換一個新的芯片就完事。
另外，估計有人也會好奇，這種綁定芯片的大模型，會不會因為沒法更新迭代，導致知識永遠停留在出廠那一天？
實際上大模型刻入芯片，只是模型本身的迭代不能進行了，就好比一個IQ180的人不能繼續(xù)進化到IQ200，但它的邏輯推理能力，知識檢索能力依舊頂級。
而且刻入芯片之后，訪問大模型雖然不需要聯(lián)網(wǎng)了，但它本身依然是具有聯(lián)網(wǎng)能力的，依然可以找到最新的信息去學習，分析并且解決。
這就導致面對緊急突發(fā)狀況的時候，它的響應速度遠超過去的大模型，有更好的使用場景。
1、智能駕駛領域，當汽車在馬路上突發(fā)緊急事件，有些復雜的問題根本無法解決~
比如前面臨時修路了，原本的實線被磨掉了，交警拿著指揮棒示意你逆行繞過障礙物，傳統(tǒng)的自動駕駛芯片擅長的是快速識別圖像，但對這種需要快速邏輯推理的場景是無能無力的。
這種情況它根本等不起把數(shù)據(jù)打包傳給阿里云、亞馬遜等云端大模型來反饋結(jié)果，它需要的是和人類一樣，低于1毫秒的“本能邏輯推理反射”。
2、高頻量化領域，可以在宏觀對沖金融里開“外掛”
在處理宏觀新聞、財報、非農(nóng)數(shù)據(jù)時，美聯(lián)儲鮑威爾的講話文稿剛一發(fā)布，芯片就能以17000Token/秒的速度，在零點幾毫秒內(nèi)瞬間“吞下”幾萬字的報告，立刻得出“鷹派/鴿派”的定性，并轉(zhuǎn)化為做多/做空大宗商品或股指期貨的信號。
3、軍工領域，這種無需聯(lián)網(wǎng)、固化在物理硬件里的高智商芯片，是武器系統(tǒng)唯一的最佳選擇。
哪怕是處在斷網(wǎng)的“信息孤島”，它還是能憑著出廠時被賦予的龐大參數(shù)，獨立進行極速的戰(zhàn)術分析和保密決策。
...................
當然，我們也要關注這個背后長遠看一些潛在的利空，
最近一年，以三星、美光，SK海力士為首的三大HBM存儲巨頭股價狂飆，底層邏輯都靠一個支撐：“AI的盡頭是算力，算力的盡頭是HBM”。
如果chatjimmy.ai這種“無HBM化”的芯片普及，甚至形成燎原之勢，對這三大巨頭絕對不僅僅是“有影響”，而是巨大的估值邏輯破壞。
另一方面，以前云計算借助AI推理全面收取過路費的模式，也可能會被打上一個問號。
畢竟如果人人的手機、汽車都有這種AI大模型芯片，絕大多數(shù)日常問題在本地0.1秒就免費解決了。
真正需要傳到云端、花錢去求ChatGPT或Gemini這種復雜模型來解答的流量，可能連20%都不到。
不過對于資金布局在這些方向的人來說，明白危機的同時，也別太過于焦慮了。
因為短期來說它能寫入的模型水平還是有限的，也就是目前僅限幾十億參數(shù)的初中生智商水平，距離真正頂級，動輒上百萬億參數(shù)模型還為之尚遠。
也就是它五到十年內(nèi)的使用場景更多還只是在一些特定的領域，尤其是對于一些對“斷網(wǎng)、低延遲、絕對隱私”有極端要求的垂直領域——比如我前面提到的智能駕駛、軍工系統(tǒng)、或者是金融量化高頻交易。
但拉長來看，技術進步的速度確實是難以估量的，誰又知道哪天這些頂級模型寫入芯片之后，每個人的設備終端都擁有了頂級離線AI，世界又會演變成什么夸張的模樣。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
