幻方量化旗下大模型厂商DeepSeek采用硬盘缓存技术
admin 阅读: 2024-08-02 23:21:47
(原标题:幻方量化旗下大模型厂商DeepSeek采用硬盘缓存技术)
经济观察网讯 据幻方量化微信公众号8月2日消息,其探索AGI(通用人工智能)的新组织“深度求索(DeepSeek)”启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。在大模型API的使用场景中,如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。缓存命中的部分,DeepSeek费用为0.1元每百万tokens。(实习记者 张丽莹 编辑 李仕静)
本文 原创,转载保留链接!网址:https://licai.bangqike.com/gnxw/675609.html
声明
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。
