2月27日消息，今天是DeepSeek開源周第四日，不同于前三日早早就發(fā)出的開源項目。

今天DeepSeek公布開源項目，比平日稍微晚些，讓關注者們等的稍微有點著急，包括小編在內(nèi)。

但是等待的結(jié)果總是值得的，這不今天公布了兩項開源內(nèi)容。話不多說，轉(zhuǎn)入正題。

今天DeepSeek發(fā)布了DualPipe（雙向管道并行算法）和EPLB（專家并行負載均衡器）。

據(jù)DeepSeek介紹，DualPipe是一項在DeepSeek-V3技術報告中引入的雙向管道等值算法，它實現(xiàn)了向后和向后計算通信階段的雙向重疊，顯著減少訓練空閑時間。

同時，流水線氣泡優(yōu)化這一創(chuàng)新調(diào)度策略，降低傳統(tǒng)管道并行中的“氣泡”問題，有效提升硬件資源利用率。在GitHub上，目前該算法已經(jīng)獲得544個Star收藏。

另外，在此談一談EPLB（專家并行負載均衡器）。

EPLB（專家并行負載均衡器）具有動態(tài)負載均衡、分層與全局平衡結(jié)合、流量優(yōu)化的特點。

具體來看，動態(tài)負載均衡是基于混合專家（MoE）架構(gòu)，通過冗余專家策略復制高負載專家，并采用啟發(fā)式分配算法優(yōu)化GPU間的負載均衡；

另外在分層與全局平衡結(jié)合方面，它既支持單個節(jié)點的分層負載管理，也實現(xiàn)跨節(jié)點的全局負載平衡，減少GPU閑置。

此外在流量優(yōu)化上，可在平衡負載的同時，通過調(diào)整專家分布降低節(jié)點間通信數(shù)據(jù)量，提升整體訓練效率。