低成本、高精度机器人动作捕捉技术

机器人2024-04-10333机器人技术及应用

低成本、高精度机器人动作捕捉技术

在最新一期《无人机》杂志中,研究人员公开了一种新颖、经济、开源且操作简便的机器人动作捕捉系统——Easy Rocap,特别适用于无人机等无人平台。随着机器人技术的飞速发展,无人平台如无人机(UAV)的进步也得以显著推动。在机器人应用中,姿态估计的重要性不言而喻,它直接关乎轨迹规划和执行的效果,因为正确的速度和位置估计是构建环境精准空间表示的关键。

对于许多移动机器人而言,实时姿态信息至关重要。例如,无人机的局部运动控制高度依赖于精准且快速的姿态估计。基于相机的运动捕捉(Mocap)系统在机器人应用中表现突出,受到广泛应用。

然而,目前基于摄像头的动捕系统常受摄像头遮挡和光噪声影响,而商业动捕系统不仅价格高昂,还缺乏开源的硬件和软件,这加大了其在机器人上的部署难度。为此,研究人员推出了Easy Rocap,这一简单、开源且经济的解决方案,旨在解决高精度动作捕捉系统源代码不开放、商业Mocap费用高昂以及环境光干扰等问题。利用特殊材料标记和多个固定摄像头,Easy Rocap能够实时、快速且准确地捕获无人机的方向和位置。

与红外摄像头动捕系统不同,Easy Rocap结合了多目标跟踪(MOT)和目标过滤算法,以及目标检测技术,从而确保在存在障碍物和噪声的情况下也能实现精确且连续的轨迹跟踪。

该系统基于消费级商用IR RealSense相机开发,包含多视图相机三角测量、多视图对应和两阶段关键点检测模型(TKDM)三大关键组件。引入TKDM,具备精细过滤功能,有效减轻环境光噪声对视觉检测的影响。

这一创新方法将MOT和目标检测融入多视图对应框架,双层探测器显著提升了复杂环境下的物体检测能力,而MOT组件则确保即使在短暂遮挡的情况下也能稳定跟踪标记。此外,该方法利用多视图对应的几何约束匹配图像上的对应点,确保在各种挑战性条件下都能实现准确可靠的检测和跟踪。

在实际操作中,该系统首先利用训练过的对象检测器在每个视图中生成标记和机器人的边界框。基于实时对象检测器的训练,设计了一种利用类别和置信度的对象过滤算法,以剔除错误检测。系统根据置信度对多视图矩阵系数加权,减少遮挡对3D姿态估计的影响,确保各视图贡献合理。随后,应用MOT保持轨迹连续性,并将极线约束应用于多视图对应。

最终,该系统通过校准的多视角相机计算标记的3D坐标,从而精确确定目标机器人的三维姿态。机器人的方向和位置基于多个标记的坐标推断得出。该系统旨在无缝集成到机器人系统中,利用多摄像机实时数据流实现精确且动态的姿态估计。

研究人员在真实场景和模拟环境中使用多摄像机进行了广泛实验,评估了该运动捕捉系统的性能和精度,以及其实时性。实验涉及无人机和无人地面车辆(UGV),结果表明该系统能够为机器人提供实时姿态信息。