把一个箱子从地上搬到指定位置，对人来说是一件普通的小事。对人形机器人来说，却是一道全身协作题。走近时要调整站位，下蹲时要保持平衡，双手接触箱子后要稳稳托住，起身和移动时还要协调双腿、躯干与手臂。任何一个环节出错，都可能让箱子滑落，甚至让机器人失去平衡。一种办法是提前准备好完整的参考动作，让机器人逐帧跟踪。但如果只给出箱子的目标位置，中间的动作该如何产生。能不能用同一个控制器，既在有参考动作时精确跟踪，也在没有参考动作时，根据感知和任务目标完成操作。这正是ULTRA想解决的问题。

一个控制器接受不同详细程度的指令

研究团队区分了两种控制需求。动作跟踪提供一套逐帧参考，身体怎么动、物体如何移动，都有明确的轨迹，机器人要尽量准确地复现这些动作。目标驱动控制则只规定希望达到的结果，例如物体的目标位置与朝向，把中间动作留给控制器生成。这就是稀疏目标，它没有逐帧规定机器人怎样迈步、弯腰和抬手。ULTRA将这些需求放进同一个控制框架，这些能力由同一组策略参数实现。控制器还可以使用不同的感知输入，包括外部动作捕捉系统提供的物体状态，以及机器人自身深度相机获得的信息。这里的自主，具体指在给定目标和可用感知的条件下生成动作。目标仍需外部提供，而机器人不再需要别人提前规定每一帧应该怎么动。

先让训练数据符合物理

这些全身协作能力从哪里来，一个重要来源是人体运动捕捉数据。但人和机器人的身体比例、关节结构不同。同样一个搬箱子的动作，直接映射到机器人身上，可能出现手够不到箱子、脚底打滑，或接触关系不合理的问题。姿态看起来相似，并不代表动作能稳定执行。ULTRA为此引入了物理驱动的神经动作重定向。可以把它理解为让机器人在物理仿真中学习如何用自己的身体完成示范中的动作。通过强化学习，重定向策略在尽量保留人体动作与操作意图的同时，考虑动力学和接触约束，生成在仿真中可执行的机器人轨迹。

从会跟踪到会完成目标

有了机器人动作轨迹，接下来要训练能在不同输入条件下工作的控制器。第一步，通过教师策略传递控制能力。训练时先训练一个教师策略读取完整仿真状态和参考动作，学习如何协调身体、维持接触并完成操作。随后通过策略蒸馏，将这些能力传递给面向实际部署的学生策略。学生需要适应不同的信息组合：有时有完整参考，有时只有部分目标；有时能获得精确的物体状态，有时只能使用第一视角感知。为此，ULTRA使用输入可用性掩码，它像一张信息清单，告诉策略这一次哪些输入可用，让同一个模型根据现有信息生成动作。第二步，通过强化学习微调，提高处理偏差的能力。学会模仿之后，策略还需要面对示范之外的情况，ULTRA进一步在仿真中进行强化学习微调，让策略通过尝试和任务反馈学习如何调整动作、接近目标。

用机器人自己的视角

控制之外，还有一个实际问题：机器人如何知道箱子在哪里。在实验室里，外部动作捕捉系统可以提供精确的物体位置。但要走向更广泛的使用场景，机器人还需要利用自身传感器理解眼前环境。ULTRA支持第一视角深度感知，从深度图中提取物体点云，也就是用一组空间点描述物体的形状和位置，再将其提供给控制策略。机器人结合关节状态、身体姿态等本体感知，以及给定的任务目标，协调全身动作。研究团队在G1上测试了完整动作跟踪、细粒度控制、较远期目标跟随，以及基于第一视角深度感知的目标驱动控制。使用第一视角点云输入时，强化学习微调将大幅提高成功次数。