大语言模型的能力，已经在海量文本训练与规模化扩展中得到验证。它之所以能够持续强化，一个重要基础是：海量来自书籍、网页还是对话的知识，最终都能被统一到“文本”这一输入输出空间中，模型才能在其中完成学习、组合与迁移。

那么，具身智能能否找到一条类似路径？机器人如何从不同来源的经验中学习，让感知、动作与物理世界的变化形成统一理解？走向 Physical AGI，它的“原生统一空间”又应该是什么？

今天，跨维智能（DexForce）发布全球首个机器人任务原生3D世界模型UNITAS（A 3D-Native World Action Model for Embodied Manipulation），探索为Physical AI建立统一表示空间的新路径。

UNITAS提出的核心观点是：只有让模型原生理解三维物理世界，世界模型才真正接近“世界”本身。

大模型靠文本，机器人需要什么样的“原生空间”？

对于语言模型而言，无论是一篇论文、一段代码，还是一次对话，只要转换为文本，就可以进入同一个模型进行学习。

但机器人面对的情况完全不同，现实世界中的数据天然存在异构性：视觉信息来自摄像头，动作信息来自不同机器人本体的控制系统，环境变化则对应物体在真实空间中的运动过程，这些信息之间并没有天然统一的表达方式。

例如，一个机器人执行“推动杯子”的任务。摄像头记录到的是二维图像变化，而机器人真正需要理解的是杯子在三维空间中的位置变化、机械臂与杯子之间的距离关系，以及动作对后续环境状态产生的影响。

从不同角度观察，同一个动作可能产生完全不同的视觉结果；但在真实物理世界中，物体的位置关系和运动规律并没有改变。

如果模型只能从二维视觉变化中推断物理规律，就需要不断学习不同表示空间之间的映射关系。这意味着，模型的大量能力是被消耗在“翻译”上，不是对物理世界本身的理解上。

因此，具身智能进一步发展的关键，并不仅仅是增加更多数据或者扩大模型规模，而是找到一种能够承载物理经验的统一表示空间。

UNITAS给出的探索是：三维物理世界本身，就是机器人理解世界的一种原生表示。

▲ UNITAS 总览。(a) 多本体数据：仿真、真机、人类双手；(b) 一个世界坐标接口：动作流与场景流在同一坐标系中联合建模；(c) 以 1.7B 参数在多项基准上领先（来源：UNITAS 论文 Figure 1）

让机器人在三维世界里理解“动作”与“变化

机器人真正进入物理世界，面对的不只是“如何行动”的问题，也包括“行动之后世界会如何变化”。

传统机器人策略模型关注的是：机器人下一步应该执行什么动作；而世界模型关注的是：执行这个动作后，环境会发生怎样的变化。过去，这两个问题通常被作为不同任务分别建模，但从真实物理过程来看，二者本质上是一件事。

当机器人伸手拿起一个杯子时，机械臂移动是动作，杯子离开桌面并发生位移是结果，两者共同构成了一次完整的物理交互过程。机器人如果只学习“怎么动”，却不了解动作会如何影响世界，就很难真正理解物理规律。

UNITAS提出的核心思路，正是将观察、行动和世界变化统一到同一个三维物理空间中建模。

也许你会好奇，机器人领域已经有不少方法引入了三维信息。UNITAS的“3D原生”（3D-Native）究竟意味着什么？

关键区别在于：3D是作为辅助信息存在，还是作为模型理解世界的基础。

过去的一些方法可以称为3D-aware World Action Model（3D感知世界动作模型）。它们会引入深度、点云或几何约束，帮助模型获得额外的空间信息，但模型的核心表示仍然建立在二维视觉或其他潜在特征之上。换句话说，模型能够“感知”三维信息，但三维并不是它理解世界的原生语言。

例如，视频世界模型主要通过连续图像预测未来状态。它可以判断画面中的物体如何变化，但物体之间真实的距离、空间关系以及运动规律，需要模型从二维视觉变化中进一步推断。

部分3D方法进一步增强了空间理解能力。比如PointWorld能够预测三维场景变化，但动作轨迹由外部输入，模型更接近一个预测环境变化的模拟器（Simulator），而不是同时理解“为什么行动”以及“行动后世界如何变化”的统一模型。

包括蚂蚁灵波的LingBot-VA、英伟达的DreamZero，主要沿着二维视觉建模的路线展开，将未来视频预测与机器人动作生成结合。这条路线能够利用视频中的丰富经验，但描述世界变化的主要载体仍是二维画面及其潜在特征，物体之间的距离、位置与运动关系，需要模型从中学习和推断。

而在UNITAS探索的3D原生的思路中，核心变化在于：它不再让模型从二维视觉中推断三维世界，而是直接让模型在三维物理空间中学习世界，简而言之，“世界”模型直接作用在统一坐标系下的三维Token上，而不通过图片Token作为桥梁。

UNITAS的主干模型直接处理三维Token，将三维空间作为机器人观察、行动和理解环境变化的共同表示：

•观察（Observation）对应环境中物体的三维位置关系；

•动作（Action Flow）对应机器人末端执行器或人手等操作端的运动轨迹；

•场景变化（Scene Flow）对应物体受到动作影响后产生的运动变化。

例如，机器人执行“拿起杯子”任务时，模型不仅需要知道杯子在哪里、机械臂应该如何移动，也需要理解夹爪靠近、抓取、抬起过程中，杯子的位置如何变化，以及整个场景将如何响应。

UNITAS用三维点的轨迹描述这个过程：

•动作流（Action Flow）：人手或机器人夹爪上的点如何随时间移动。

•场景流（Scene Flow）：以这些点为条件，杯子等场景中的点如何移动。

▲ 预测的动作流以及对应的场景流

在UNITAS中，这些过程不再被拆分成多个独立问题，而是在同一个三维坐标系中进行联合建模。因此，模型既能够根据任务目标生成可执行动作，也能够根据动作预测未来的世界变化。

论文中的消融实验进一步显示，引入场景流监督后，机器人动作策略性能仍然获得提升。这说明，对世界变化规律的理解，能够帮助机器人做出更准确的动作决策。

从人手、夹爪再到机器人：让机器人经验成为同一种“语言”

对于机器人而言，获得泛化能力的另一关键挑战，是如何利用来自不同来源的经验。现实中，机器人数据高度分散：有的来自仿真，有的来自真机采集，有的来自人类操作示范。同时，不同机器人机械结构与控制方式各异，同一任务在不同设备上的表现形式也不相同。如果没有统一表示，这些经验很难被同一个模型有效吸收。

UNITAS 尝试解决的正是这一问题，从硬件形态看，人手与机器人完全不同；但从运动规律看，它们都可以被描述为：某些关键点在三维空间中如何随时间变化。因此，在UNITAS表示体系中，人手、机器人夹爪以及仿真环境中的操作端，都可以被转换为三维空间中的点轨迹，不同来源的数据拥有了共同表达方式——仿真操作数据、真机采集数据与人类双手完成任务的数据，都可以进入同一个三维空间进行学习。

▲ 跨数据源的共享点流表示：仿真、真实机器人、人类双手，在 UNITAS 内部都是同一坐标系中的点轨迹；右图显示混合数据训练持续降低末端执行器误差（来源：UNITAS 论文 Figure 3）

论文中，UNITAS 将九个数据来源进行混合预训练，再针对具体任务微调。在 LIBERO-Plus 测试中，混合预训练使整体成功率提升 2.6 个百分点；面对机器人初始状态扰动时，任务成功率从 84.8% 提升至 94.2%。这验证了一个重要方向：当不同来源的物理经验能够被统一表达，机器人学习就有机会突破单一数据源限制。

打通数据鸿沟，让机器人经验真正流动起来

要实现多源数据统一，并不是简单地把不同数据放在一起训练就能完成。不同机器人、不同数据集之间，仍然存在大量底层差异。例如，部分数据可能缺少完整深度信息，不同机器人的轨迹采样频率并不一致，不同任务的持续时间也各不相同。为了让这些数据能够在同一个三维空间中被理解，UNITAS 提出了两个关键模块。

首先是世界对齐的3D位置嵌入（World-Aligned 3D Position Embedding）。该模块为观察、动作流和场景流引入统一三维坐标编码，使不同来源的信息能够映射到同一个物理空间中。

针对部分视觉数据缺少深度信息的问题，UNITAS还能够在视锥范围内学习补全深度，使模型能够同时适配RGB-D和RGB数据。

其次是物理时间轨迹编码器（Physical Time Trajectory Encoder）。在机器人数据中，不同数据集往往存在轨迹长度和采样频率差异。例如，有的数据以10Hz采集，有的数据以30Hz采集；有的任务持续时间较短，有的任务需要完成长程操作。UNITAS通过按照轨迹点实际对应的物理时间进行编码，将不同时间尺度、不同采样频率的轨迹转换到统一特征空间中。

解决了以上数据异构之后，UNITAS的主干模型Point Dynamics DiT就可以在统一的特征空间（Observation: 同空间下的三维点；Action Flow: 同空间下的操作本体上采样点轨迹Token + 初始点位置编码； Scene Flow: 同空间下的场景点轨迹Token + 初始点位置编码）上进行学习泛化。UNITAS还兼具机器人控制与场景预测能力：策略模式根据任务生成可执行动作；模拟器模式根据给定的动作轨迹，预测场景接下来如何变化。

凭1.7B参数跑赢8B模型！UNITAS全球多项评测领先

在具身智能领域，模型能力的竞争，最终要回到可比较的评测结果。

UNITAS已在多项机器人操作评测中展现出“屠榜”实力：仅凭1.7B（17亿）参数，超越参数规模达6B（60亿）的Fast-WAM、8B（80亿）的Motus，以及π0.5、LingBot-VA、PointWorld等模型，在多项基准测试中全面夺冠，进一步在真实机器人操作执行上同样表现突出，任务平均成功率达到 85%！

•99.8%——LIBERO平均成功率达到SOTA。长程任务子集LIBERO-Long也达到99.4%，在需要连续完成多步操作的任务中保持高成功率。

•92.9% / 93.0%——RoboTwin 2.0双臂操作成功率。分别对应Clean和Randomized设置，超过Fast-WAM（6B）和Motus（8B）等参数规模更大的视频世界动作模型。

•89.1%——LIBERO-Plus整体成功率。面对相机视角、机器人初始状态等七类扰动，模型依然保持较强的任务完成能力。其中，机器人初始状态扰动下的成功率达到94.2%，展现出对物理条件变化的适应能力。

•0.427厘米——场景运动预测误差降低约35%。在RoboTwin仿真测试中，运动点平均轨迹误差由PointWorld的0.656厘米降至0.427厘米，误差不超过1厘米的预测准确率达到92.31%，四项场景预测指标全部领先。这检验的是模型对“动作之后，物体会怎样运动”的预测能力。

▲ RoboTwin 动作条件场景预测：UNITAS 在全部四项指标上领先，Moving ADE 从 0.656 cm 降至 0.427 cm（来源：UNITAS 论文 Table 4）

真实机器人测试则进一步检验UNITAS在实际物理环境中的执行效果。

在论文报告的真实任务中，UNITAS平均成功率达到85%，其中在Organize Books（整理书本上架）上达到 90% 成功率，在 Pack the Ball（装球并拉上拉链）上达到 80%。

综合来看，UNITAS的成绩并非某一项指标的突破，而是体现了标准操作、双臂协作、扰动适应、场景运动预测和真实机器人执行等多方面综合实力。

更值得关注的是，UNITAS仅有1.7B参数，却在多个指标和表现上均超过参数规模更大的对比模型。 这说明UNITAS的价值不仅仅停留于“3D原生”的技术理念，它已经将机器人操作能力带到了真实物理环境中，为机器人从多源学习提供了真正行之有效的路径。

UNITAS以小胜大的关键：消融实验逐项验证设计

把视觉3D位置编码、动作流监督、动作流历史 token 这三项3D原生设计全部去掉，模型即退化为常规 VLA 基线，整体成功率从 86.47% 跌到 67.58%——近 19 个百分点的差距，全部由表示方式本身贡献。论文在 LIBERO-Plus 上逐项验证：

•3D 位置编码——去掉后相机视角扰动下成功率从 79.11% 跌至 66.73%，对齐的三维信息是跨视角泛化的关键。

•动作流监督——去掉后整体成功率从 85.74% 降至 78.89%，对齐输入观测和输出动作空间是学习可泛化机器人动作控制的核心。

•动作流历史 token——去掉后机器人初始状态扰动下成功率骤降 19.87 个百分点，历史动作上下文增强了模型鲁棒性。

•场景流监督——在上述三项之上叠加后整体成功率从 85.74% 升至 86.47%，"看懂世界会怎样"反过来让"自己该怎么动"更准。
四个组件各司其职、彼此增益：参数省下来的每一分，都是被更贴合物理世界的表示方式省下来的。

从统一表示到数据飞轮：跨维探索Physical AI落地路径

UNITAS解决的是机器人学习中的一个关键问题：如何让来自不同来源的物理经验拥有统一表达方式。而要推动机器人真正走向更广泛的真实世界，仅有统一表示还不够，还需要持续增长的高质量物理经验。

从2021年成立以来，跨维持续建设生成式世界模型和具身智能基础设施。跨维自研的DexVerse®生成式仿真引擎，能够根据语言、图像等多模态输入生成三维场景，并结合物理仿真与传感器模拟，构建机器人理解和交互所需的虚拟世界。EmbodiChain具身智能工具链则进一步连接场景生成、数据扩增、模型训练与部署流程，让机器人能够在更加丰富、多样的环境中持续积累经验。

随着UNITAS 3D原生技术路线的发展，仿真在Physical AI技术链条中的价值也正在被重新定义。它不再只是补充真实数据，而是成为生成和组织物理经验的重要环节。真实环境中，机器人难以完整记录每一次交互背后的运动过程与环境响应，而在生成式仿真环境中，这些物理变化可以被计算、生成并用于模型学习，为机器人理解动作与世界变化之间的关系提供更加丰富的经验来源。

UNITAS与跨维生成式仿真体系的结合，正在形成“仿真生成—模型学习—真实验证—数据回流”的Physical AI数据闭环，让机器人经验能够跨视角、跨本体、跨场景迁移，并探索Physical Token经济学所关注的核心方向：不断降低机器人获得下一项能力的成本。

论文也展示了这一方向的潜力：UNITAS的场景流监督主要来自仿真数据，但在DROID、RH20T等真实世界观测数据上，仅根据夹爪运动轨迹，模型依然能够预测合理的场景变化。这说明，通过统一的三维物理表示，机器人正在具备从虚拟经验迁移到真实环境的能力。

▲ 零样本迁移：UNITAS 在真实世界画面上直接预测场景流——模型没有见过这些真实场景的三维监督，依然能预测"动作之后世界怎样变化"（来源：UNITAS 论文 Figure 11）

从生成式仿真引擎，到具身智能模型，再到真实场景应用，跨维持续探索Physical AI的发展路径。

未来，跨维愿与全球开发者、产业伙伴携手，让机器人真正理解物理世界，并在持续学习与进化中走向更广泛的应用，推动具身智能成为下一代生产力的重要组成部分，让机器人逐步走进更多生产与生活场景，服务千行百业，创造更广泛的价值。