群核科技宣布开源空间理解模型SpatialLM

admin 阅读:3 2025-03-20 12:21:42

(原标题:群核科技宣布开源空间理解模型SpatialLM)

3月19日,在英伟达GTC2025大会上,群核科技宣布正式开源空间理解模型SpatialLM。

群核科技表示,SpatialLM模型能够基于从视频中提取的点云数据,准确认知和理解其中的结构化场景信息,并将它以脚本语言的形式呈现出来。这意味着,给SpatialLM输入一段视频,它可以生成物理正确的3D场景布局。

群核科技首席科学家周子寒告诉记者,“在向SpatialLM输入视频后,其输出的脚本语言更像是一串代码,其中包含了三维数据。这些数据能够通过训练帮助机器人增强对空间的理解能力”。他说,相较于传统的大语言模型,SpatialLM更多的应用场景是面向具身智能训练。

“传统机器人公司虽然拥有自己的机器人,这些机器人虽然可能具备一定的控制功能,例如能够执行阶段性任务,但它们普遍缺乏智能。具体来说,这些机器人无法理解其所处的环境。目前,除了少数大型机器人公司外,许多传统机器人公司可能在训练模型方面缺乏经验,也不清楚如何进行这种训练。”周子寒告诉记者,SpatialLM模型开源后,将为像具身智能领域的企业或机构科研团队提供一个空间认知理解的基础训练框架。尤其是对那些不具备模型开发能力的具身智能企业,可以基于SpatialLM模型进行微调,降低具身智能训练门槛。

“这相当于为具身智能领域提供了一个基础的空间理解训练框架。”周子寒表示,“这次开源的本质是希望能够帮助到更多的企业,尤其是机器人公司,利用我们现有的空间智能技术来发展他们的机器人产品。我们希望这能成为他们创新的起点和基础。”

“SpatialLM空间理解模型旨在帮助具身智能机器人完成在空间认知理解上的基础训练。而去年群核科技发布的空间智能解决方案SpatialVerse,则希望进一步通过合成数据方案为机器人搭建最接近物理真实的‘数字道场’,实现机器人在仿真环境中的行动交互训练。”群核科技董事长黄晓煌在接受记者采访时表示。

群核科技方面告诉记者,本次开源的SpatialLM模型使SpatialVerse的数据来源更开放。通过从视频到结构化场景的转化,将现实世界的数据转化为虚拟环境中的丰富场景。而基于SpatialVerse的合成数据引擎,这些基于SpatialLM模型生成的一个个结构化场景又可泛化生成亿万级新场景。这意味着,现实世界将成为SpatialVerse“数字道场”的原料来源,这不仅让SpatialVerse的数据更多样,同时还能缩小仿真与现实之间的“差距”。

据了解,目前SpatialLM已在HuggingFace、GitHub、魔搭社区等平台面向全球开发者开源。群核科技方面告诉记者,此次开源仅是开始,接下来SpatialLM模型将继续迭代如自然语言和场景交互等功能。


本文 原创,转载保留链接!网址:https://licai.bangqike.com/gnxw/1088473.html

标签:
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

关注我们

扫一扫关注我们,了解最新精彩内容

搜索