摩尔线程支持DeepSeek开源通信库和并行算法，提升大模型训练效率

在 DeepSeek 开源周第四日，摩尔线程宣布成功支持 DeepSeek 的开源通信库 DeepEP 和并行算法 DualPipe，并发布相关代码仓库：MT-DeepEP 和 MT-DualPipe。

DeepEP 是专为 MoE（混合专家）模型训练和推理设计的通信库，适用于大模型集群训练。它通过优化通信信道使用率，显著提升了训练效率。摩尔线程基于 MUSA Compute Capability 3.1 全功能 GPU 适配了 DeepEP，支持高效 All-to-All 通信、节点内通信、高吞吐量计算核心及低延迟推理解码等功能，并原生支持 FP8 数据分发。

DualPipe 则是 DeepSeek-V3 提出的双向流水线并行算法，通过计算与通信完全重叠，减少了设备空闲等待现象。摩尔线程依托深度学习框架 Torch-MUSA 和 MUSA 软件栈的兼容性，实现了对 DualPipe 的支持。MT-DualPipe 可接入 MT-Megatron 和即将开源的 MT-TransformerEngine 框架，进一步降低气泡占比，优化通信效率，实现更高效的计算资源利用。

本文 原创，转载保留链接！网址：https://licai.bangqike.com/cjnews/1058903.html