DeepSeek 启动“开源周”，发布高效 MLA 解码内核 FlashMLA

DeepSeek 今日正式开启“开源周”，并发布了首个开源代码库 FlashMLA。该代码库是针对 Hopper GPU 优化的高效 MLA 解码内核，专门设计用于处理可变长度序列。FlashMLA 的灵感源自 FlashAttention 2&3 和 cutlass 项目，展现了其在深度学习领域的前沿技术应用。

据官方介绍，FlashMLA 的运行环境要求包括 Hopper GPU、CUDA 12.3 及以上版本以及 PyTorch 2.0 及以上版本。安装方法简单，只需通过 `python setup.py install` 即可完成配置。在性能方面，FlashMLA 在 CUDA 12.6 环境下，H800 SXM5 内存受限配置下可实现 3000 GB/s 的带宽，计算受限配置下则可达 580 TFLOPS 的算力，展现出卓越的计算效率。

此外，FlashMLA 的用法清晰，开发者可通过简单的代码调用实现功能集成，进一步提升了其在实际应用中的便捷性。这一开源项目不仅为深度学习开发者提供了强大的工具，也为相关领域的研究和创新注入了新的活力。

本文 原创，转载保留链接！网址：https://licai.bangqike.com/cjnews/1054495.html