月之暗面开源Moonlight：30亿/160亿参数混合专家模型

admin 阅读： 2025-02-24 13:21:23

（原标题：月之暗面开源Moonlight：30亿/160亿参数混合专家模型）

经济观察网讯 2月24日，月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告，并宣布推出“Moonlight”：一个在Muon上训练的30亿/160亿参数混合专家模型（MoE）。使用了5.7万亿个token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。（编辑万佳）

本文原创，转载保留链接！网址：https://licai.bangqike.com/gnxw/1054696.html

标签:

声明

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。