
大晓机器人联合南洋理工大学发布了世界模型Mundo。该模型仅需少量图片或视频,就可以重建出三维场景;场景中的物体自带质量与摩擦等物理属性,通过推拉、碰撞等操作能够算出相应的响应。它还支持自由视角探索、机器人移动操作,并能够保留任务轨迹与物理交互状态,可用于训练数据生成和仿真测试。
要理解Mundo的意义,可以先从一个基本问题入手:机器人如何学会与真实世界打交道。人类在日常生活中推开一扇门、拿起一个杯子、避开地上的障碍物,靠的是对物理世界的直觉:东西有多重、表面滑不滑、推一下会动多远。这些经验看似简单,却是机器人最难掌握的部分。传统的训练方式往往依赖大量真实采集的数据,或者依赖人工搭建的仿真环境,前者成本高、周期长,后者则常常因为与真实世界存在差距而效果打折。
Mundo的切入点,是用少量图片或视频重建三维场景。这意味着,构建一个可用的仿真场景,不再需要繁琐的建模流程和大量的素材采集。拍几张照片、录一段视频,就可以得到一个三维空间,这大大降低了场景构建的门槛。对于需要大量不同场景来训练机器人的团队来说,这种效率的提升非常关键:场景越多、越多样,机器人接触到的情况就越丰富,适应新环境的能力也就越强。
更关键的一步在于,重建出来的不只是一个“看起来像”的三维画面,而是一个“动起来也像”的物理世界。场景中的物体自带质量与摩擦等物理属性,这意味着物体不再是空心的摆设,而是有了重量和表面特性。当机器人去推它、拉它,或者与它发生碰撞时,系统能够根据这些属性算出相应的响应:重的物体更难推动,光滑的表面更容易滑动,碰撞之后物体会如何移动,都可以被模拟出来。这种物理层面的真实感,是机器人训练真正需要的东西。
在这样的世界模型里,自由视角探索和机器人移动操作也成为可能。研究者可以从任意角度观察场景,检查机器人在不同位置、不同视角下的表现;机器人也可以在场景中移动、操作,完成各种任务。更重要的是,任务轨迹与物理交互状态能够被保留下来。每一次操作的过程、每一次交互的结果,都可以被记录和复现,这为后续的分析和改进提供了完整的依据。
从用途上看,Mundo指向了两个方向:训练数据生成和仿真测试。在训练数据生成方面,世界模型可以批量产出带有物理交互过程的数据,弥补真实数据采集不足的问题;在仿真测试方面,研究者可以在虚拟世界中先行验证机器人的行为,排查可能的问题,再把经过验证的方案部署到真实机器人上。这种“先在仿真里练好,再到现实中上岗”的流程,能够降低真实测试的风险和成本。
大晓机器人与南洋理工大学的联合发布,也体现了产业界与学术界合作的一种模式。企业带来真实的应用需求和工程化能力,高校带来前沿的研究积累,双方的结合有助于让一项技术既保持学术上的新颖性,又具备走向实际应用的可能性。世界模型本身就是一个交叉性很强的方向,涉及视觉、物理仿真、机器人控制等多个领域,单靠一方推进往往不够全面。
此外,保留任务轨迹与物理交互状态的做法,还为复现和调试提供了便利。研究者可以回放某一次操作的全过程,定位问题出在哪个环节,而不是只能看到最终结果,这种可追溯性对模型迭代同样重要。
当然,世界模型距离完全替代真实世界训练还有距离。仿真与现实之间始终存在差距,重建场景的精度、物理属性的准确性、复杂交互的真实程度,都需要在更广泛的实践中不断验证。但Mundo所展示的路径——用少量视觉输入重建带物理属性的三维世界,并用它来生成训练数据和做仿真测试——已经为机器人训练提供了一个值得关注的新工具。
文末来源:界面新闻/新浪财经。