国家地方共建人形机器人创新中心（以下简称“国地中心”）与北京理工大学联合研发的人形机器人“身外化身”小脑模型——“龙驭”，目前已正式发布。

人形机器人“身外化身”通常是指，让机器人实时复刻人体全身高动态动作。不同于传统机器人的遥操作，仅在固定基座上复刻上肢准静态动作，“身外化身”需要在控制全身更多自由度的基础上兼顾本体的运动平衡，甚至包含腾空起跳等高动态运动与落地平衡，对机器人运控算法提出了极高的要求。

此次推出的“龙驭”小脑模型，仅需前期少量动作数据训练，即可零样本泛化至真实场景的实时动捕、视频衍生动作及全身遥操作等多样输入，在实体人形机器人上成功跟踪行走、奔跑、跳跃、舞蹈乃至武术等复杂技能，并包含抗扰动，摔倒自动恢复能力，具备可用、耐用、能用的业界领先身外化身系统技术特征和优势。

“龙驭”具备三大核心特点：

1. 胃口小——打破数据等于智能的传统思维，利用模型设计精简与训练策略创新，仅需少量动作数据即可达到高泛化性能力；

2. 动作精——一丝不苟地复现人体快速、剧烈的运动，无论是奔跑、跳跃、武术招式，还是搬运物品，都能流畅跟随；

3. 响应快——遇到碰撞或干扰时可自行调整恢复，即使摔倒，也能像人一样迅速起身平衡。

基于“龙驭”小脑模型，我们致力于实现：

■ 远程全身操控

不同于桌面遥操作，操作者可远程操控机器人完成一系列需要全身协调的任务，例如工厂作业、远程会议、养老看护、火灾救援、危险排爆等，未来甚至可参与月球基地建设。

■ 机器人全身动作数据集

不同于现阶段大部分专注上肢操作的数据集，结合真人全身操作与实机同步操作，“龙驭”可协助采集人体、机体同步的高质量素材，帮助机器人智慧积累。

■ 打造全能“机器人小脑”

“龙驭”为机器人构建身体协调与控制的基础能力，实时响应上层决策指令，为未来实现机器人高度自主行动奠定基础。

01.

技术介绍

论文预印本：

https://arxiv.org/abs/2601.23080

网站：

https://zeonsunlightyu.github.io/RGMT.github.io/

02.

核心方法

“龙驭”小脑模型的核心方法由高质量数据集构建与创新的策略架构两部分组成，二者协同实现高效、鲁棒的全身运动控制。

高质量数据集构建

策略训练基于一个约3.5小时的精炼运动数据集，其数据源选自LAFAN1与AMASS两大动捕数据库的精选子集，并利用通用运动重定向技术将全部动作序列适配至目标人形机器人模型。

针对原始动捕数据中普遍存在的冗余性、低质量片段及接触状态不一致等问题，研究团队实施了质量控制流程，剔除了不可行与低质量的运动序列。

这种以质量为导向的构建策略至关重要，它避免了大规模原始数据中重复和低效片段对模型优化的干扰，提供了更清晰、信息密度更高的监督信号，从而提升了策略的泛化能力与闭环跟踪精度。

控制框架创新

“龙驭”小脑模型采用了一种基于动态条件命令聚合的创新控制框架。该框架的核心是一个由因果历史编码器与多头交叉注意力命令编码器组成的策略网络，通过注意力机制使策略能够依据当前物理动态，有选择地聚合并解读上下文中的参考命令。

■ 观察与动作空间

策略网络的观察输入包含本体感觉（如机体坐标系下的重力投影、角速度、关节位置/速度偏差）和来自参考运动的命令（如基座线/角速度、重力方向、关节位置目标）。

策略网络的输出为残差关节位置命令，该命令与参考关节位置相加后，通过PD控制器生成最终关节扭矩。这种残差形式将探索锚定在参考姿态附近，提升了训练效率与跟踪精度。

■ 策略架构与训练

历史编码器：轻量化的因果Transformer，用于处理近期的本体感觉序列，并通过逐元素最大池化聚合并提取出表征当前机器人动态的嵌入特征。

■ 命令编码器

将历史编码器输出的动态嵌入作为“查询”，对上下文的参考命令窗口执行多头交叉注意力操作。这使得策略能够根据当前物理状态的可行性，以自适应的方式选择出可靠的命令片段，并抑制存在的异常片段如噪声、身体穿透或不一致接触等。

得益于动态条件命令聚合机制对噪声和异常命令的过滤能力，3.5小时的精炼数据集足以训练出强大的策略网络。该网络不仅能在闭环执行中保持稳定，还能对全新的运动实现零样本泛化。

性能评估

■ 基线对比

在基线对比实验中，“龙驭”小脑模型采用的框架与当前的代表性框架Any2Track和GMT在相同数据集上进行了比较。评估涵盖三种运动源：基于LAFAN1和AMASS的动捕数据、视频衍生运动以及地面交互运动。

实验结果表明，在所有数据子集上，该框架均取得了最高的任务成功率与最低的平均关节位置误差。其中在视频衍生运动上的性能提升尤为显著，这证明了框架对参考运动分布偏移具备强大的适应能力。

■ 架构消融

策略架构消融实验验证了因果历史编码器与交叉注意力命令编码器的关键作用。将因果历史编码器替换为CNN变体（Ours CNN HistEnc）会导致性能一致下降，而将交叉注意力命令编码器改为自注意力变体（Ours SelfAttn CmdEnc）则引发更大幅度的性能劣化，特别是在视频衍生与地面交互子集上。这凸显了动态条件交叉注意力机制在分布偏移和命令噪声下的核心价值。

03.

框架特性

■ 高动态运动泛化与跟踪

实现高动态运动的精准、稳定跟踪，是人形机器人控制领域的一项核心挑战。这类运动（如快速跑跳、武术踢打、Breaking舞蹈等）特点在于全身协调复杂、运动速度高，且伴随着频繁且剧烈的接触状态转换。

传统方法在此类场景下常面临两大难题：一是闭环执行会放大参考动作中局部的缺陷或噪声，导致机器人状态漂移甚至失稳；二是针对单一动作训练的策略泛化能力差，无法适应多样的、未经事先训练的运动模式。

本框架通过核心方法中所提到的动态条件命令聚合机制，为破解高动态运动跟踪难题提供了通用解决方案。其核心在于，策略并非同等地选择并执行每一帧参考命令，而是依据机器人的实时本体感知，有选择地参考与聚合上下文中的命令信息。

这种“条件化筛选”能力，使得框架在面对高动态、多接触运动时，能显著减少参考数据中噪声和不一致性的影响，极大提升了闭环跟踪的稳定性。同时，正因为策略学会了依据物理可行性而非盲目跟随参考信号，它获得了强大的零样本泛化能力——即使对于训练数据中从未出现过的运动风格（如从网络视频中直接估计出的舞蹈动作），也能基于其内在的动力学逻辑进行稳健复现。

■ 集成倒地恢复

为实现人形机器人的可靠部署，研究团队将自动倒地恢复能力集成至全身控制框架。该机制通过随机恢复初始训练环境与渐进式辅助力设计，使单一策略能够自主应对失衡状态，显著提升系统在动态接触场景下的安全性与连续性。

在训练过程中，系统以15%的概率将并行环境设为恢复训练环境，并在这些环境中将机器人重置至随机生成的不稳定姿态。这种随机初始化使策略能够广泛接触复杂环境与接触条件，同时通过反复的“跌倒-站起”循环自然积累丰富的地面接触经验，从而提升对复杂环境与过渡动作的跟踪精度与泛化能力。

为提高训练初期的探索效率，在恢复环境中施加幅度均匀采样于[0, 200]范围的向上牵引力，通过增加可恢复状态的出现频率加速策略学习。该辅助力随训练进程线性衰减至可忽略水平，确保最终策略仅依靠自身控制完成恢复动作。

在状态终止机制方面，系统设定了基座姿态过度偏移、高度不足及关键身体链路高度异常等判据。特别针对恢复环境设置了3秒恢复窗口，在此时间内暂停因不稳定触发的提前终止，允许策略在同一回合内完成站起与重稳定过程。若超时未恢复则终止回合，避免不可恢复状态下的无效训练，保障训练效率。

这一设计使机器人能够在发生跟踪失败或受外部扰动时，快速从倒地状态自主恢复至稳定站立姿态，为长期任务执行提供了关键保障。

■ 多源输入兼容性

本框架具备多源输入的兼容性，能够灵活处理从高精度动捕到便捷遥操作等多种类型的参考命令，展现出泛化与抗干扰能力。其支持的输入模态、技术特点与性能表现如下表所示：

综上所述，该框架能够适应从离线高质量数据到在线含噪声输入的多种信号源。无论是面对视频估计的分布偏移、VR设备的传感噪声，还是运动合成产生的非连续命令，其动态条件命令聚合机制都能有效过滤异常，确保稳定、精确的跟踪。这种能力使其能够无缝对接从专业动画生成到便捷实时控制的各种上游系统，在实际部署中具有灵活性和鲁棒性。

04.

实际应用

■ 数据采集

框架支持VR设备与专业动作捕捉服双模式遥操作，这为采集多样化、高质量的机器人示范数据提供了灵活高效的解决方案。

VR设备：基于消费级硬件（如PICO），该系统部署便捷、成本相对较低。操作员通过头显与手柄进行直观控制，能高效产生用于全身运动、交互任务的遥操作数据，适合快速构建大规模基础运动库。

动作捕捉服：可提供更高精度、更专业的人体动作数据。它能精准捕捉操作员全身细微的运动姿态，适合采集高保真、高动态的复杂技能数据（如武术、舞蹈），为训练高级别策略提供优质样本。

这种双模式设计使研究人员能根据数据精度、成本与场景需求，灵活选择采集工具，高效构建用于训练通用机器人策略的多模态数据集。

■ 集成全身VLA模型

该框架可作为底层运动模型，与上层的全身VLA模型集成，共同实现复杂的具身任务，如物流搬运等。

在此协作架构中：

全身VLA模型担任“大脑”，负责解析“请将那个蓝色箱子搬到门口”的自然语言指令，结合摄像头视觉，理解任务目标、识别物体位置，并规划出需要执行的高级动作序列（如“走近箱子”、“蹲下”、“抓取”、“转身”、“走向门口”、“放下”）。

本框架担任“小脑”，接收VLA模型生成的抽象动作轨迹（如目标基座位移、末端执行器位姿），并将其转换为稳定、鲁棒、适应实际物理环境的全身关节运动。在搬运过程中，它能自主维持身体平衡，抵抗箱体重心变化带来的扰动，在遇到地面不平时调整步态，甚至能在意外滑倒时自主恢复并继续任务。

未来的“机器人小脑”已上线，全身操控玩到爽！欢迎围观，携手搞事情！来解锁专属你的机器人小脑和海量动作数据！