開源生成式 AI 模型不再局限于數據中心,而是開始深入到現實世界的各種機器中。從 Orin 到 Thor,NVIDIA Jetson 系列正在成為運行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區模型的通用平臺。
![]()
在今年初的 CES 展會上,卡特彼勒展示了 Cat 306 CR 小型挖掘機。其 Cat AI Assistant 運行在 NVIDIA Jetson Thor 平臺上。為了實現快速準確的自然語音交互,該系統采用了 NVIDIA Nemotron 語音模型,同時借助 Qwen3 4B,可以通過 vLLM 本地服務,確保無云連接的情況下,以低延遲解析請求并生成響應。
除了推動企業創新,開放模型還為開發者開辟了自由構建與實驗的廣闊空間。基于 NVIDIA Jetson,開發者可打造個人全天候在線的邊緣 AI 助手。
云部署會帶來延遲成本和持續的計算成本,而物理系統需要低延遲、功耗受控以及穩定一致的行為。NVIDIA Jetson 通過將計算單元與內存集成于單個系統級模塊(SoM)中,不僅加速了客戶的硬件設計進程,也使元器件采購與驗證比采用分立方案更為高效可靠。
NVIDIA Jetson 已成為在邊緣端運行開放模型的通用平臺。它全面支持各類開放模型與 AI 框架,開發者可在邊緣端靈活部署幾乎任何生成式 AI 工作負載。同時,Jetson Thor 在所有主流生成式 AI 模型上均提供領先的推理性能。
以上為摘要內容,點擊鏈接閱讀完整內容:開放模型點燃 AI 熱潮,NVIDIA Jetson 賦能 AI 在邊緣端落地 | NVIDIA 英偉達博客
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.