​一种带有机器人标记的新型动作捕捉系统来了 可大幅提升人机交互能力

2023-08-2411机器人创新

动作捕捉(mocap)系统是一种可以检测和记录人类、动物和物体运动的技术,被广泛应用于各种环境当中。例如,它已被用于拍摄电影、制作具有逼真唇部和肢体动作的动画、互动电子游戏机,甚至用于控制机器人。
 


 

 

 

斯科尔科沃科学技术研究院的研究人员最近开发出一种新的运动捕捉系统,旨在实现更安全、高效的人机交互。这一系统基于可穿戴机器人技术与摄像头,能够追踪用户手臂的运动。

 


 

"这项工作是智能空间机器人(ISR)实验室多年来在人机交互领域的积累之成果,"该项目的首席研究员Ali Alabbas表示。"人机交互涉及人类和机器人共同参与的协作任务,因此人类操作员的安全至关重要。这项工作在我们实验室以往的经验和技术基础上取得了新的突破。"

 

 

这一研究小组的动作捕捉系统从他们之前开发的两项技术中获得了灵感。第一项技术叫做CobotGear系统,利用一个6-DoF可穿戴摄像头来追踪人类手臂的运动。第二项技术则是CoHaptics,通过触觉反馈为用户提供与机器人之间的距离信息,并在机器人靠近用户时发出警报。

 


 

Ali Alabbas解释道:"我们的目标之一是开发一种成本低廉、易于安装的动作捕捉系统,能够检测和定位用户工作环境中手部的位置。该系统采用了CobotGear的技术,避免了机器人和用户在协作任务执行中的碰撞。"该系统基于视觉,运用摄像头和计算机视觉技术,来定位附在用户手上的独特机器人视觉标记。

 

 

然而,该动作捕捉系统存在局限性,受到遮挡物的影响。若视觉标记被部分或完全遮挡,系统将无法进行追踪。为了克服这一限制,Ali Alabbas和他的团队尝试通过降低遮挡风险来解决问题。

 

Ali Alabbas表示:"我们的想法是设计一种可以移动标记的装置,确保标记始终可见于动作捕捉系统。"他们提出的解决方案是制造一个小型可穿戴机器人,能够固定标记并具备旋转功能。


 

该团队开发的系统基于一个可以佩戴在前臂上的机器人。该机器人通过多种方式移动标记,确保标记始终位于集成摄像头的视野内。

 

 

教授Dzmitry Tsetserukou解释道:"通常情况下,mocap的逆反射标记是球形的,因为从不同角度拍摄时,标记的大小保持一致。然而,要想消除球以外的所有可见物体,就需要在人体上放置许多标记,并配备昂贵的红外摄像头,使系统成本高昂。我们提出的ArUcoGlide则是经济实惠而强大的解决方案,能够用单一低成本摄像头追踪人体运动,甚至支持通过触觉反馈与用户进行互动。"


 

ArUcoGlide机器人极其轻巧,与一块普通手表重量相当。机器人系统配备独特的标记,通过摄像头进行定位,提供有价值的反馈,以避免人机交互过程中的碰撞。


 

"该系统由三部分组成:可穿戴机器人标记、跟踪系统和防碰撞控制器,"Ali Alabbas解释道。"我们将其称为ArUcoGlide机器人,其佩戴着独特的视觉标记,并且能够调整标记的方向,以确保摄像头能够看到标记并解决遮挡问题。若出现危险情况,机器人还能通过振动提供触觉反馈。我们建议保持摄像头和标记之间的固定方向,以减少因用户移动而导致标记失去视野的情况。"

 


 

该团队的mocap 解决方案的第二部分是一个跟踪系统,由一个摄像头和一台基础计算机构成。摄像头捕捉人类与机器人协作环境的实时流,随后基础计算机对这些数据进行处理,提取出环境中标记的坐标。


 

"第三部分是防碰撞控制器,这是我们之前开发的CobotGear系统的一部分,"Ali Alabbas提到:"该控制器管理机器人的运动,以防止其与工作区域和用户的手发生碰撞。从基本原理上讲,该团队的系统工作原理如下:摄像头记录人类和机器人合作的环境。AucoGlide机器人会调整标记的方向,以确保在摄像头视野范围内持续跟踪运动。最后,碰撞控制器会移动机器人,防止其与用户发生碰撞。


 

Tsetserukou解释道:"简单来说,标记与2-DoF机器人一起在空间中滑行,以连续捕捉身体运动。"如果标记静止不动,即未调整位置,跟踪系统会在相对于摄像机的一个非常陡或浅的角度上丢失标记。当人类安全至上时,这种情况就不适用。


 

研究人员通过一系列实验对ArUcoGlide进行了评估,测试了其跟踪系统的准确性、该系统在发生碰撞前对人类和机器人行为的影响,以及其在实际协作任务中的表现。研究人员发现,该系统大大提升了机器人与人类互动的安全性,将用户手与机器人之间的距离维持在平均5厘米。


 

实际证明,该系统能够在各种现实环境中有效增强人与机器人之间的协作。例如,它可以协助医务人员进行血液采样。


 

"Tsetserukou解释说:"当人类手臂靠近机器人时,我们的系统可以检测到并启动防碰撞算法,从而避免机器人对使用者造成伤害。"实验证明,在广泛的运动范围内,人类手臂的追踪精度可以达到亚厘米级。而且,带有移动的ArUcoGlide标记和触觉反馈的系统可以将医疗测试过程的共享加快了16%。


 

值得一提的是,该团队的动作捕捉系统还可以根据特定应用的需求进行调整。例如,如果用户希望改变所监控的环境,只需将运动捕捉摄像头移到所需位置,然后重新启动系统即可。

 

Ali Alabbas指出:"该系统的设计用于共享工作环境,让人们联想到仓库或实验室中的典型活动。例如,它可以在实验室中安装,机械臂可以与化学家一起配制溶液,从而加快过程并保护用户免受有毒物质的伤害。"


 

"由于化学家的注意力主要集中在材料上,因此我们的系统可以通过监控工作环境,始终定位化学家的手,并尽量避免机器人与其发生碰撞。ArUcoGlide非常适用,因为成本低廉,安装简单;用户只需将摄像头固定在合适的位置,即可监测工作环境。在穿戴ArUcoGlide并开始工作后,工作环境就可以工作了。"


 

不久后,ArUcoGlide将在更广泛的场景中进行实施和测试,以验证其改善人与机器人关系的潜力。在接下来的工作中,Alabbas、Tserserukou及其团队希望进一步开发ArUcoGlide,以实现对用户整体身体的跟踪。

 

Tsetserukou解释说:"我们计划开发GlideSuit系统,其中手臂、手、腿、躯干等整体都将安装机器人标记。"ArUcoGlide标记将同步移动于人体上,以保持与相机光轴的正常位置。

 

ArUcoGlide的升级版本可以通过单一摄像头实时跟踪用户的骨骼。此外,它还可以支持增强现实(AR)应用,例如允许用户可视化人体内部的器官或肌肉,或者预览不同服装穿在身上的效果。


 

Tsetserukou补充道:"想象一下,实时拍摄一个人手持虚拟3D鸟类的视频。"ArUcoGlide不仅适用于人类,还可以用于机器人。将ArUcoGlide安装在无人机顶部,只需一个摄像头,我们就可以跟踪机器人群,控制其队形,进行灯光表演。另一个有趣的应用场景是舞蹈教学和康复,通过触觉反馈引导人类在三维环境中实现理想的肢体运动轨迹。"