24人打造的6nm AI芯片火了！比B200快48倍，30塊能跑DeepSeek滿血版

芯東西（公眾號：aichip001）
作者 程茜
編輯 Panken

芯東西2月24日消息，2月20日，加拿大神秘AI芯片創企Taalas浮出水面：宣布總融資額已超2億美元（約合人民幣14億元）、推出首款可為任意模型定制芯片的平臺HC1，首款產品由24人團隊打造，共花費3000萬美元（約合人民幣2.1億元）。

Taalas成立于2023年8月，其技術路線特立獨行：無需軟件而是將模型結構、參數與權重深度直接固化于硬件之中。其推出的產品就是集成了Meta Llama 3.1 8B模型的HC1平臺。

一夜之間，Taalas的產品刷屏硅谷，社交平臺網友紛紛開啟實測，并稱其性能驚人、將給英偉達GPU帶來巨大挑戰。

HC1采用臺積電6nm制程，芯片面積與英偉達H100芯片相當，為815平方毫米。HC1芯片可以將整個8B版本的Llama 3.1模型集成到單個芯片上。

Taalas還模擬了DeepSeek R1-671B的多芯片解決方案，其存儲整個671B模型采用了大約30個定制芯片，模擬結果表明，DeepSeek R1-671B每用戶每秒可生成約12000個token；Llama 3.1單個用戶的生成速度可達17000 token/秒，速度接近Cerebras推理平臺的10倍，英偉達H200的73倍、B200的48倍，構建成本為Cerebras現有方案的1/20、功耗僅為1/10。

Taalas創始人兼CEO柳比薩·巴吉克（Ljubisa Bajic）曾任職AMD集成電路設計與架構總監、英偉達高級架構師。他2016年創立AI芯片公司Tenstorrent，2023年將其交接給Jim Keller（吉姆·凱勒）后，又創辦了Taalas。

Taalas的另外兩位創始人是巴吉克的妻子、曾在AMD擔任系統工程高級經理的萊拉·巴吉克（Lejla Bajic）以及曾在AMD擔任高級設計工程師、在Tenstorrent擔任工程師的德拉貢·伊格（Drago Ignjatovic）。

不過在社交平臺上，有不少用戶吐槽：Taalas的產品確實快，但錯誤率過高。芯東西提問了“9.9和9.11比大小”以及經典的雞兔同籠題目，該模型分別在0.001秒、0.017秒內給出了錯誤答案。

▲社交平臺X上網友評論（左、中），芯東西實際體驗截圖（右）

巴吉克稱，Taalas的極端方案可能很適合某些特定應用，本質是找到追求經濟效益和速度而犧牲靈活性的方法。

Taalas還透露了下一步計劃，他們將基于HC1為第二款中等規模的推理模型打造芯片，該模型預計于今年春季在實驗室完成流片，并很快集成至其推理服務中；隨后，該公司將基于第二代芯片平臺HC2推出新大語言模型，HC2將提供更高的算力密度與更快的執行速度，計劃在今年冬季正式部署。

體驗地址：https://chatjimmy.ai/chats/648a53af-eb3f-4f81-a604-69e3dcec69ae

一、極致性價比，30顆芯片模擬部署DeepSeek R1

2月20日，Taalas正式推出首款芯片平臺HC1，該平臺已集成Meta Llama 3.1 8B模型，用于聊天機器人演示與推理API服務。

其官方博客提到，基于HC1，Llama 3.1單個用戶的生成速度可達17000個token/秒，速度接近Cerebras推理平臺的10倍，構建成本為Cerebras現有方案的1/20，功耗為1/10。

Taalas發布了HC1集成Llama 3.1 8B的免費試用鏈接。芯東西提出的需求是“請詳細提供1960年至1972年阿波羅計劃逐年的完整歷史，包括任務目標、技術挑戰、核心人員、飛行里程碑與科學發現。”Llama 3.1僅0.078秒就輸出了答案，每秒可輸出15694個token，其輸出內容對關鍵分類進行了羅列。

根據Taalas發布的成本與延遲對比數據，基于Taalas的芯片方案，Llama 3.1 8B的推理查詢成本為每百萬token 0.75美分（約合人民幣0.052元），DeepSeek R1的成本為每百萬token 7.6美分（約合人民幣0.53元）。

相比之下，Llama 3.1 8B在GPU吞吐量優化方案上的成本為每百萬token 3.79美分（約合人民幣0.26元），DeepSeek R1為20.2美分（約合人民幣1.4元），延遲優化方案中，Llama 3.1 8B的成本為28.61美分（約合人民幣2元），DeepSeek R1為49美分（約合人民幣3.37元）。

可以看出，Taalas在token生成成本、延遲上相較英偉達GPU效果都更好，尤其在參數規模更小的模型上更是實現了數量級的領先。

該公司的第一代芯片平臺HC1采用了自定義的3位基礎數據類型，這是因為他們在進行研發設計時，低精度參數格式尚未形成標準。

集成Llama時，Taalas還采用了激進的量化方案，混合使用3位與6位參數，相較于GPU基準測試，會帶來一定的精度損失。

Taalas的收入來源將分為兩塊，推理即服務、HC硬件。在官宣博客中，Taalas將基于Llama 3.1 8B的HC1稱作測試版服務，其目的是讓開發者體驗大模型推理實現亞毫秒級速度、且成本近乎為零的同時，探索更多新應用。這一服務預計不會產生顯著收入。

二、遵循三大原則，2個月內完成芯片定制

一般而言，對于更新的模型，Taalas能在不到兩個月內完成芯片定制。

巴吉克對此的解釋是，由于Taalas的芯片高度專業化，其設計比英偉達的同類產品更簡單，因此生產速度更快。例如一塊Taalas芯片就能容納一個完整的大語言模型，將模型及其權重硬編碼到HC1中，然后將整個模型嵌入到定制的專用芯片中，而無需像英偉達和其他公司那樣依賴外部高帶寬內存。

這一過程中，該公司遵循三個原則。

第一是完全定制化（Total specialization）：其團隊認為，在計算機發展史上，深度專業化一直是讓關鍵工作負載以極高效率運行的最可靠途徑之一。

因此，Taalas會為每個單獨的模型生產最佳芯片，也就是將特定的模型神經網絡映射到芯片本身，從而針對每個模型優化基礎設施。

第二是實現存儲與計算融合：此前，AI推理芯片架構設計中計算與存儲相互分離，且二者運行速度存在顯著差異，這直接導致當前AI推理硬件架構日趨復雜。系統不僅需要依賴先進封裝、HBM堆棧與超高I/O帶寬，再加上單芯片功耗攀升，有時必須依靠液冷方案才能穩定運行。

其博客提到，Taalas的突破性就在于，將存儲和計算統一在單個芯片上，并達到DRAM級別的密度，以此來解決此前計算和內存分家的痛點。

第三是極致簡化（Radical simplification）：在融合存儲與計算，并針對每個模型定制芯片的基礎上，Taalas可以從根本上重新設計整個硬件堆棧。其最終得到的系統不依賴于復雜或特殊的技術，不需要HBM、先進封裝、3D堆疊、液冷等。

HC在設計時還進一步降低了AI部署中的能耗和成本。HC系統每個機架的能耗為12-15千瓦，GPU每個機架的能耗則高達120-600千瓦。再加上Taalas的機架可采用風冷散熱，從而進一步降低數據中心的改造成本。

此外，Taalas HC1 PCIe卡幾乎可以安裝在任何服務器中，并支持英特爾和AMD的CPU。

三、業界好評與擔憂并存，缺乏靈活性、機架壽命短引熱議

憑借HC1的性能和極低成本，Taalas近期獲得了不少關注，但業界仍提出了反對意見。

其優勢顯而易見。即便云服務商每次模型更新時都要更換數千顆加速芯片，在四年的可比使用周期內，Taalas方案的資本支出（CAPEX）仍能比其他AI加速方案節省60%–75%，同時還能為用戶提供全球最快的AI推理服務。

企業擔憂的關鍵之一在于，Taalas的方案缺乏靈活性。

使用其方案的企業將不得不長期適配同一固化模型的多個迭代版本，同時還要部署不同的芯片版本來運行各異的模型。如此繁多的版本，會加重數據中心的運營復雜度。

但《福布斯》認為，即便如此這套方案依然非常劃算。因為如果一家數據中心只有少數幾個模型，卻占用了生產環境中絕大部分AI推理算力，那用這種專用芯片的性價比會很高。

企業擔心的另一個點是Taalas機架的使用壽命較短。

目前，英偉達和AMD的更新周期都是以年為單位，但Taalas的模式就意味著，每個模型都要跟著更新。大模型基本1～1.5年就會迭代一次，而新一代芯片的研發通常需要2～3年。

針對這一隱憂，Taalas的應對策略是，通過對兩層金屬層進行改動來升級基礎邏輯層，無需徹底重新設計。《福布斯》估計，Taalas很可能讓臺積電預先存儲未完成的晶圓，以便添加這兩層金屬互連層，從而實現在兩個月內完成交付。

結語：Taalas走出新路：犧牲靈活性換極致速度、成本效益

外媒Wccftech認為，目前Taalas的主要制約因素在于市場接受度和商業模式，其采用的固定編碼方案，硬件確實會針對特定的大模型生進行定制，無法更改模型權重，但考慮到其驚人的生成速度與成本效益，這可能會讓企業忽略其缺乏靈活性的不足。

Taalas已經實現了單芯片部署Llama 3.1 8B，以及成功用30顆芯片模擬部署DeepSeek R1模型，這也進一步展現了其采用集群式方案的潛力。對于未來的商業化探索，巴吉克稱，他們希望與開發者合作，并構建Taalas自己的基礎設施來運行開源模型，并提供API接口、銷售芯片。

來源：《福布斯》、Taalas官網、EE Times