DeepSeek发布首个开源MoE模型训练与推理通信库DeepEP

在DeepSeek“开源周”活动的第二天，该公司正式发布了DeepEP，这是首个开源的用于混合专家（MoE）模型训练和推理的专家并行（EP）通信库。DeepEP以其高效优化的全到全通信方式、支持NVLink和RDMA技术以及高吞吐量和低延迟的内核设计，成为MoE模型开发的重要工具。

DeepEP不仅支持低精度计算（包括FP8数据格式），还针对不对称带宽转发进行了优化，适合训练和推理的预填充任务。此外，其低延迟内核采用纯RDMA技术，显著优化了推理解码速度。通过基于Hook的通信与计算重叠方法，DeepEP进一步提升了GPU资源利用效率。

当前，DeepEP支持Hopper GPU架构，并需要Python 3.8、CUDA 12.3、PyTorch 2.1及以上版本，同时依赖NVLink和RDMA网络进行节点间通信。该库的开源为MoE模型的开发和应用提供了更多可能性。

本文 原创，转载保留链接！网址：https://licai.bangqike.com/cjnews/1055767.html