浪潮信息元脑R1推理服务器成功适配SGLang框架，大幅提升并发访问能力
网络 阅读： 2025-02-27 11:19:12
浪潮信息元脑R1推理服务器现已完成对开源框架SGLang最新版本的深度适配，显著提升了其在高性能运行DeepSeek R1 671B模型时的表现。该服务器能够支持超过1000路用户并发访问，展现出卓越的处理能力。搭载FP8计算引擎的NF5688G7服务器，在部署DeepSeek R1 671B模型时不仅速度快且无精度损失，显存带宽高达4.8TB/s，确保了推理解码阶段的极致加速。此外，GPU P2P带宽达900GB/s，进一步保障了最佳通讯性能，完美契合模型的技术特征。这一进展标志着浪潮信息在高性能计算领域的又一重要突破。
本文 原创，转载保留链接！网址：https://licai.bangqike.com/cjnews/1058118.html
声明
1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。
