DeepSpeed v0.18.4 發(fā)布：優(yōu)化穩(wěn)定性與兼容性，全面支持 Python 3.12 與 AMD ROCm

2026-01-09 00:14:48　來源: moonfdd

北京舉報

分享至

2026 年 1 月 8 日，DeepSpeed 官方正式發(fā)布 v0.18.4 版本。本次更新主要聚焦于 性能優(yōu)化、穩(wěn)定性修復(fù)、兼容性增強，并帶來了對 Python 3.11 / 3.12、PyTorch 2.8 / 2.9 與 AMD ROCm 的全面支持。該版本共包含 23 次提交，涉及 14 位貢獻者，修改文件數(shù) 41 個，是一次重要的維護與優(yōu)化版本。下面我們詳細(xì)解讀 v0.18.4 的更新內(nèi)容。

一、核心更新與改進 ? 1. 版本管理與測試體系優(yōu)化

? 更新版本號并同步測試框架。
? 在編譯測試中禁用 deterministic 選項，以提升測試靈活性與速度。
? 在持續(xù)集成（CI）層面新增 AWS 測試工作流，使測試環(huán)境更加多樣化和穩(wěn)定。
? 啟用對 Python 3.11 與 3.12 的自動化測試支持，進一步拓寬兼容邊界。

? 2. 性能優(yōu)化與引擎可靠性提升

? 修復(fù) SuperOffloadOptimizer_Stage3 崩潰問題（由缺失 param_names 參數(shù)引起）。
? 改進 Engine 模塊，僅在 scale_wrt_gas 為 True 時才對梯度進行縮放，從而提升計算效率。
? 修復(fù) Nebula Checkpoint Engine 的 commit() API 不匹配問題，完善接口一致性。
? 修復(fù) DecoupledCheckpointEngine 潛在死鎖問題，并增強整體可靠性。
? 優(yōu)化 DeepSpeed Async I/O 機制，通過釋放 Python GIL 解決罕見的異步等待卡死問題。
? 修復(fù) OnebitLamb 在空參數(shù)情況下出現(xiàn)的 NaN 傳播問題，提升分布式優(yōu)化器穩(wěn)定性。
? 修復(fù) BF16_Optimizer 在 DummyOptim 模式下的 IndexError 異常，保障兼容性。

? 3. 深度學(xué)習(xí)框架與功能兼容

? 改進 DeepCompile 模塊，以確保與 PyTorch 2.8 / 2.9 的高度兼容。
? 替換 torch.sqrt 為 math.sqrt ，解決因不同實現(xiàn)導(dǎo)致的學(xué)習(xí)率縮放誤差問題。
? 更正 MOE 檢查點中的分布式尺寸定義，將 dp_world_size 替換為 seq_dp_world_size 。
? 修復(fù) UlyssesSPAttentionHF 與 PEFT 模型在注冊時的兼容性錯誤。
? 針對部分依賴 Triton 的測試用例進行修復(fù)，確保多平臺一致性。

二、硬件支持與平臺增強 ? 1. AMD ROCm 支持增強

本次版本顯著提升了 AMD GPU（ROCm 平臺）的支持能力，對相關(guān)后端進行了進一步優(yōu)化。部分 AMP 測試用例被跳過，以確保在 AMD 環(huán)境下的執(zhí)行穩(wěn)定性。

? 2. BF16 支持檢查優(yōu)化

新增 BF16 支持的 fallback 檢測邏輯，可在硬件不支持時自動回退至安全路徑，提升兼容性與健壯性。

三、代碼質(zhì)量與小幅修正

? 修復(fù)若干拼寫錯誤，提升代碼可讀性。
? 在反向傳播 Hook 中跳過 None 值，修復(fù)潛在異常。
? 移除 OpenMPIRunner 中過早的 MPI 環(huán)境變量檢測邏輯，增強啟動靈活性。
? 移除了舊版 AMP 相關(guān)測試用例，保持代碼庫簡潔。

四、文檔與生態(tài)更新

? 補充并發(fā)布 Core API 更新日志，完善官方文檔體系。

五、總結(jié)

代碼地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.4 是一次高質(zhì)量的維護性更新，覆蓋了 兼容性、穩(wěn)定性、測試體系、性能優(yōu)化 等多個方面，對 AMD 生態(tài)及高版本 Python / PyTorch 的支持尤為顯著。對于研發(fā)者而言，本次版本在大規(guī)模分布式訓(xùn)練的可靠性上帶來了切實提升。

版本要點回顧：

? ? 全面支持 Python 3.11 / 3.12 與 PyTorch 2.8 / 2.9
? ? 增強 AMD ROCm 兼容與性能
? ? 提升 DeepSpeed Async I/O、Checkpoint 引擎穩(wěn)定性
? ? 優(yōu)化梯度縮放與學(xué)習(xí)率計算邏輯
? ? 改進 BF16、MOE、Ulysses 等子模塊
? ? 新增 AWS 測試工作流，強化 CI 能力

結(jié)語：
隨著 v0.18.4 的發(fā)布，DeepSpeed 在多平臺深度訓(xùn)練生態(tài)中進一步鞏固領(lǐng)先地位，為開發(fā)者提供了更高效、更可靠的訓(xùn)練引擎支持。未來版本將繼續(xù)深化異構(gòu)計算與自定義算子的優(yōu)化，讓大規(guī)模模型訓(xùn)練更快、更穩(wěn)。

特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.