DeepSeek模型免費，底座也免費嗎？

圖文原創：親愛的數據

開源好，真是好，

DeepSeek現在在各個行業落地（做推理），

我們直奔重點，

推理（Inference）的時候，

下面的底座重要嗎？

底座是一整套系統軟件，是幕后英雄，

我們距離這個底座最近的那次是，

DeepSeek開源七天大放送。

開源出來一堆英文名，

好多人一看不知道具體干啥，

這些，都是“底座”的核心組件。

DeepEP、3FS、DualPipe……

這不是炫技，是一個現代AI云，

所需的基礎設施能力棧。

大模型要跑得好，

光有算力（私有化部署，公有云）還不夠，

要能“跑得快，還“吞吐量大”，

這就靠“底座”了。

這玩意有多重要呢？

如果不開源，

所有的云廠商都關起門，自己建設自己的。

為啥呀？核心競爭力。

反正云廠商就兩條路：

套著自己馬車（模型）賺錢，

套著別人馬車（開源模型）賺錢，

無論哪條路，都要推理（inference）系統好。

說到DeepSeek開源，還有個“內部笑話”

一開始，沒說會把底座里的哪幾個重要組件開源，

于是，有實力的云廠商，

注意，還得是有實力，

立馬埋頭苦干。

那些沒實力的廠商，只能干瞪眼。

結果，抓馬了，那些有實力的團隊一頓忙活，

白受累了，DeepSeek開源了。

這次輪到沒實力的廠商笑彎腰了，

直接撿便宜了。

所有人全部回到起點。

其實勤奮的研發同學不白做，

在認知上肯定有提高，

說到這，無論誰想把DeepSeek玩好，

底座就非常重要了，

說俗一點，只要這種底層軟件厲害，

云計算的服務就可以賣上價了。

因為這個軟件可以和模型，

和算力一起賣，利潤高，很賺錢。

這種軟件是推理（Inference）的基礎軟件。

DeepSeek之后，

大廠把重點工作進一步向模型的推理能力傾斜，

如何支持推理那就太重要了。

這種系統軟件主要有兩個重點，

穩定和容錯。

談到賺錢，這部分服務成本有兩部分構成：

第一基礎軟件人力成本，

沒錯，就是一幫技術扎實，頭腦聰明的人，

沒日沒夜加班干出來的，

于是，阿里字節百度的辦公大樓里，

凌晨的燈光，

少不了是基礎軟件團隊在熬夜加班。

第二，英偉達芯片的使用成本，

也粗說就是機器成本。

這是成本是固定的，

沒有什么讓利和打折的空間。

當然，我們拋開政府部門補貼，

別人家老舊機型而省下來的錢。

如果你是國產芯片，那就另說。

有位大神舉了個例子。

如果有個電廠燒錢免費讓你用他家的電，

為了價格優惠，電廠必然虧本，客戶來了不少。

過一段時間，你就對這家電廠有忠誠度了么？

不，因為電是標品。

AI基礎軟件也是標品，

A云廠商有，B云廠商有，C云廠商也有。

所以，第一步，先成為標品，

不要虧本的標品，

在標品的市場上，因為技術差，

成本就會高，利潤就少了。

下一步，拉著模型賺錢。

閉源模型厲害，開源就是落后生產力，

開源模型厲害，閉源就是落后生產力，

落不落后，不看性格，不看基因，

只看生產力先進與否。

閉源的出發點就是想把底層算力，

中層模型綁在一起賣。

出發點沒錯，任何一個理性經濟主體都這么思考，

難點在于競爭太激烈，俗稱，太卷了。

開源項目（如Llama，DeepSeek），

不斷挑戰閉源商業模型。

一旦開源社區拿下了性能和成本的制高點，

閉源廠商壓力巨大。

都這樣了，就積極擁抱吧。

那如何賺錢呢？

這是云廠商要思考的問題，

我的觀察是，

云廠商想通過通用模型本身筑就壁壘幾乎不可能。

但是，當下，

可以筑就“模型+底座軟件”的壁壘。

這也是DeepSeek的打法，

模型本身開源了，不是壁壘，

加上底座就有壁壘了。

因為底座是為模型設計的。

如果模型自己的，底座軟件自己的，

連芯片也是自己的，

那真的就是太好了，

譚老師我已經在你辦公室門口了，開門啊。

這類廠商想把DeepSeek推理的吞吐做大，好難。

模型即服務明顯利潤更高，

即便是這個模型不是你的。

這件事的早期，考驗云廠商什么呢？

考驗造出一套適配DeepSeek的底座軟件的能力。

我都不說這套系統有多好，

你得先有。

后面，大家就都有了，而且誰也不會差。

還有一個問題，以前的底座不能繼續用嗎？

DeepSeek和之前以Llama系列，

通義千問72B為代表的模型架構不同，

怎么不同呢？打個并不貼切的比喻，

一個是直升飛機，一個是固定翼飛機。

你之前不是有停機坪能支持直升飛機起降嗎？

能支持固定翼飛機起降嗎？

輕輕柔柔一句話，

能支持，就是要再鋪一條跑道。

只有真正干“底座”的人，

才知道這句話的份量有多重。

那些跑在英偉達GPU上的云廠商基礎軟件團隊，

無奈背過臉輕輕擦去臉上的淚水，

那些非英偉達AI芯片吞吐量想做大就更累了。

因為DeepSeek是在英偉達上訓練出來的模型，

如果你也把模型部署在英偉達GPU上，

大可以抄作業，

相反，就沒有作業可抄。

不過，好消息是，非英偉達AI芯片才有壁壘。

大家都知道，

固定翼飛機要一定長度的跑道起降。

那些之前都是玩直升機的云廠商，

相當于只有停機坪，沒有跑道，

需要提供DeepSeek的API接口給客戶用，

就得從頭開始鋪跑道。

那么啥也憋說了，趕緊造吧。

在這個值得紀念的，2025年的蛇年春節，

所有的云廠商AI基礎軟件團隊都在瘋狂加班，

原因就是這個。

而且，這個破班到現在，

到4月第一周了，都沒有加完。

一位在百度干這個活的小哥哥發的朋友圈說，

史上最夸張的加班。

為什么呢？因為難，因為還在猛干提高。

頭部云廠商的AI基礎設施團隊，都是一流團隊。

弄了這么久只有一個原因，就是難。

美國硅谷AI芯片創業團隊的核心研發給我說，

他要做一個輕版本，盡快給客戶用，

還要再做一套重版本，把每一個細節都設計好。

為什么要這樣呢？

他告訴我的原話是：

“難度陡然提升的原因是，

DeepSeek模型的思路和其它開源模型不一樣。

需要打破以前的慣例，

為他量身定制一套部署。

若還是Llama老路倒簡單了?！?/p>

要知道，推理速度快和打滿是兩個技術路線，

勛章屬于“能在吞吐量上打敗所有人的英雄”。

云廠商的基礎軟件團隊不是吃白飯的，

這個時期，要有一套基礎軟件，能夠媲美，

甚至超過DeepSeek原裝那套。

只有這樣才能賺錢。

如果價格比DeepSeek低，

你的成本還比它高，那就慘了。

這個時候的性價比，就和技術大大的相關了，

這里是云廠商AI的正面戰場，

請享受這無可回避的痛苦。

說個有意思的，

老讀者都知道譚老師很喜歡和CTO對暗號。

如果你想顯示你很懂DeepSeek，

那有一個數據必須脫口而出，

說實話，譚老師我見到大神CTO的時候，

報出的暗號就是14.8K。

只要能報出這個數字，那就是自己人了。

要不知道這個數字，

那咱們就不再是朋友了。

技術濃度最高的部分就要來了。

14.8K是什么呢？是一個標桿速度，

輸出吞吐約14.8ktokens/s，

也就是大模型一秒鐘吐出大約吐出15萬個詞元。

為什么DeepSeek做到了？

這就說明它在基礎軟件（PD分離調度、批量吞吐調優、算力利用率、KV Cache管理等）多個方面都非常頂，非常頂。

只追趕14.8K這一個指標就夠了嗎？當然不夠。

因為不同客戶，不同場景的要求不同，

要做定制化調整，

比如，對話客服機器人，

用戶只說了幾句話，

然后模型要連續生成很多回答的內容，

生成工作量大，速度不能慢；

而搜索增強生成（RAG）或如法律合同分析則不然，常常是輸入量大。

技術語是Prefill和Decode分離，俗稱PD分離，

速度是分開優化的，

當然，錢也得分開算的。

Prefill的成本是多少，Decode的成本又是多少。

換句話說，只要做到這個數，

利潤率基本接近DeepSeek原廠的了。

那天去海淀區上地奎科大廈喝奶茶，

百度智能云的技術小哥哥和我說，

他們已經很接近這個數了，

為了證明這件事的真實性，

我和他繼續聊細節，我們討論了賺錢的套路：

DeepSeek R1標價是每一百萬個詞元：

輸入4塊，輸出16塊；

他認為DeepSeek R1成本是輸入三毛，

輸出1塊7毛。

很顯然，DeepSeek R1很賺錢。

假設每個廠商都有數量和型號相同的芯片，

誰的系統的總吞吐量最高，誰就最賺錢。

前段時間，

美國硅谷那邊的技術小哥哥和我聊了聊。

技術方面，對比DeepSeek和一眾友商的吞吐，DeepSeek高了10倍。

怎么做到的？

第一，改動自注意力和FFN計算順序，

內存瓶頸轉為通信瓶頸，節省時間2倍。

第二，KVCache 占比30%，batchsize可以變大，提升2倍，

第三，TP轉EP，提升2.5倍?！?/p>

這就是10倍的由來。

當使用DeepSeek的需求激增，

好的AI全鏈路軟件是云廠商AI業務的生命線。

另外，吞吐量是各家都一直在努力提高的，

屬于動態數據，

咱們誰也別刻舟求劍。

云廠商如果徹底跟不上DeepSeek，

自家的AI全鏈路軟件就等著落后，

開源大模型默認不適配任何一家云廠商的底層軟硬件或優化路徑，苦干是唯一的選擇。

這也是為什么你會看到，

阿里、騰訊、字節、百度，

都在投入專屬系統，

做的其實和 DeepSeek 非常類似。

推理基礎設施必須自建嗎？或者能“白嫖”嗎？

可以這樣說：

如果你是云廠商，不搭一套推理基礎設施，

就像搞電商不建物流系統。

模型可以不是自己原創的，

只要別人好就上別人的。

云廠商本質是水電煤氣基礎設施提供商，

只是模型如果是自己的，整套賣那就更賺錢，

而且模型是打磨底座的利器，

沒有好模型，云廠商出去賣底座，

都會被人質疑“零經驗”。

但要想用開源模型“量大，穩定且掙錢”，

這套底座，少得了嗎？

（完）