云天励飞：IPU-X6000加速卡已适配超过30个开源大模型，预期能使大模型推理成本大幅度下降

admin 阅读： 2024-07-24 20:21:15

（原标题：云天励飞：IPU-X6000加速卡已适配超过30个开源大模型，预期能使大模型推理成本大幅度下降）

经济观察网讯 7月24日，云天励飞在上证e互动平台表示，公司2024年推出的IPU-X6000加速卡主要用于大模型云端推理，其内置高效大模型推理DeepEdge200芯片，具有256T大算力、486GB/s超高带宽、128GB大显存、c2c mesh互联，可应用于语言大模型、视觉大模型、多模态大模型等各类大模型推理加速领域。目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30 开源大模型，涵盖1.5B参数到70B参数量，预期能使大模型推理成本大幅度下降。（实习记者李青阳编辑李仕静）

本文原创，转载保留链接！网址：https://licai.bangqike.com/gnxw/659633.html

标签:

声明

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。