燧原科技入駐 Gitee：國產 AI 芯片推理軟件棧擁抱開源

國產 AI 芯片廠商燧原科技，近日以開源組織身份正式入駐 Gitee。

燧原科技成立于 2018 年，總部位于上海張江，是國內同時具備高性能云端訓練與推理能力的 AI 芯片企業。 成立近 8 年來，公司自研迭代了四代架構 5 款云端 AI 芯片，產品體系覆蓋 AI 芯片、AI 加速卡及模組、智算系統及集群和 AI 計算及編程軟件平臺。

作為模力方舟的深度生態合作伙伴，此次入駐 Gitee 標志著燧原在開源生態建設上邁出了重要一步。

燧原科技組織鏈接：

https://gitee.com/EnflameTechnology

已開源項目：聚焦大模型推理軟件棧

燧原在 Gitee 上的開源內容，圍繞其自研 GCU（General Computing Unit）構建的大模型推理軟件棧展開，目前已上線 4 個項目：

• vllm-gcu：基于原生 vLLM 框架適配 Enflame GCU（S60）的大模型推理系統，讓開發者在國產 GCU 硬件上直接復用 vLLM 生態能力，降低從 CUDA 生態遷移的成本。

• FFmpeg-GCU：基于燧原 topscodec 編解碼能力的 FFmpeg 插件，將視頻編解碼環節卸載到 GCU 硬件加速，適用于視頻理解、直播審核等需要前處理加速的場景。

• ModelZoo：燧原開發維護的模型合集，涵蓋 CV、NLP、推薦系統等領域的經典和 SOTA 模型訓練與推理示例，可用于 GCU 上的模型兼容性驗證和性能基準測試。

• candle-vllm-gcu：基于 Rust 語言 Candle 框架的 GCU 推理實現，為偏好 Rust 技術棧或對部署體積有嚴格要求的開發者提供區別于 Python 生態的推理路徑。

從燧原公布的大模型推理軟件棧架構圖來看，整體分為六層：

最底層是驅動層（KMD、EFSMI），負責硬件資源管理和監控。

其上是工具鏈層，包含 Triton-GCU、TileLang-GCU 等領域專用語言編譯工具，以及 TopsGDB、TopsProf、Visual Profiler 等開發調試工具，為算子開發和性能調優提供基礎支撐。

庫層集中了計算加速的核心組件：Topsop 算子庫、GCU 加速庫、KV Cache Library 以及通信庫。這些組件直接決定了大模型推理中 Attention 計算、KV Cache 管理和多卡通信的實際效率。

框架層以 Torch-GCU 為核心，向上承接 vLLM-GCU 和 vLLM-Omni-GCU，讓主流推理框架可以透明地調度 GCU 算力。

模型層的 Model Zoo 覆蓋了文本大語言模型、代碼編程大模型、視覺語言大模型、嵌入與檢索模型、語音處理大模型和多模態大模型六大類。

平臺層則提供 Docker 鏡像、TopsClouds 云服務和 TopsEngine、TopsPilot 等解決方案。

值得關注的是，架構圖中綠色標注的組件為燧原后續計劃開源的項目。這意味著當前開源的 4 個倉庫只是起點，未來將有更多底層庫和工具鏈代碼進入燧原的開源體系。

國產算力生態：開源只是第一步

對于正在評估國產 AI 芯片方案的團隊，燧原提供了一個低門檻的技術驗證入口：直接拉取代碼，在 GCU 環境中編譯運行。

此外，模力方舟算力市場已上線燧原算力資源，開發者可直接在線調用，還有剛剛上線的國產 AI 芯片技能認證，則為有意深入國產算力開發的工程師提供了從基礎適配到性能調優的系統化學習路徑。