全开源斯坦福Mobile ALOHA机器人,家务样样精通

Jack2024-01-053122

1月4日,斯坦福大学符博士领导的研究团队在社媒发布了一项突破性的新成果—机器人成功克隆人类行为和任务的能力。原文标题 【Mobile ALOHA-Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation】论文链接【Mobile ALOHA (mobile-aloha.github.io)】。

 

其双臂机器人通过模仿学习算法与静态ALOHA数据共同训练,仅用50个示教,熟练的实现了自主完成复杂的移动操作任务。你能想到,滑蛋虾仁、干贝烧鸡、蚝油生菜,这些色香味俱全,看着很诱人的菜就是由机器人制作:


 

而在今天1月5日,团队直接放出了更多细节:


 

最新的展示不仅有机器人浇花、扫地、逗猫等更多绝活:

 

 

 

 

还有叠衣服、换被套这种的家务活动作:

 

 

 

其实昨天的虾仁炒蛋制作步骤就已经让人十分震惊,这打鸡蛋的熟练度简直了:
 


 

 

而且做完饭还可以洗碗、清理现场:

 

 

然后今天机器人再把洗好的碗拿出来:

 


 

昨天是做完家务后与主人击掌庆祝下: 

 

 

今天是给主人刮个胡子压压惊:

 


 

昨天机器人即便是训练数据中看不到的椅子,也能够摆正:
 

 

 

今天直接就把机器人为自己充电安排上了,主打一个运行闭环:
 

 

 

核心研究成果:Mobile ALOHA实现机器人专业模仿


 

这背后我们发现,此研究主要关注机器人通过人类示教动作学习双手操作技巧,尤其是在涉及全身控制的任务上。


 

为此,符博士团队设计了一套低成本的全身远程操作系统,相较之前的移动机器人技术,该系统可以在人类示教的学习模仿中具有出色的表现。


 

然而,大多数研究都集中在桌面操作上,缺乏移动性和灵活性,这对于一般有用的任务来说远远不够。为了解决这一问题,斯坦福符博士研发团队又开发了一套全新的复合机器人系统,以模拟那些需双手和全身控制的动态操作任务。


 

具体而言,首先他们提出了一个低成本且全身的远程操作系统——Mobile ALOHA,用于数据收集。该系统运用了一个移动基座(即松灵差速驱动底盘TRACER)和一个全身远程操作界面。
 


 

随后,依托Mobile ALOHA收集的丰富数据,符博士的研究团队进行了监督学习实验,并发现联合静态ALOHA数据集共同训练可以提高移动操作任务的性能。而且每个任务仅需提供50次示教,就可以将成功率提高至90%。
 

 

这两天陆续展示的结果表明,Mobile ALOHA足以自主完成例如清理桌面污渍、煎炸和端盘、打开双门壁橱存放重物、呼叫和乘电梯以及水龙头冲洗厨具等动态复杂任务,基本实现人类生活家居覆盖。

 

 

 

 

此研究的重要性在于,它不仅提供了一种新的数据收集方法,还展示了如何有效地利用已有的数据集进行高效迁移学习,以更方便提高机器人在复杂环境中的操作能力。特别是在需要双手和全身控制的复合移动操作任务中,这种方法具有前景广阔的应用潜力,也让人们看到了机器人真正走进千家万户的可能性。


 

此外,Mobile ALOHA系统的低成本特性意味着它可以在实际应用中广泛部署,为各种机器人任务提供支持。可以说,该研究开拓了机器人技术一种新的可能性,尤其是在模仿人类完成复杂动作方面的突破意义重大。
 


 

工业化实践:松灵移动底盘支撑智能化研究


 

据悉,在科研成果的工业化实践上,符博士的研究团队选择采用我国松灵机器人自主研发的TRACER差速驱动底盘。


 

TRACER是一款两轮差速AGV,在室内运输领域具有独特的优势,小巧灵活的结构使得它能自由穿梭在各种室内环境,强大的承重量和强大的动力赋予其极高的单次运载效率;配合感知系统,甚至能实现自主行驶。
 


 

同时,低成本、效率高、部署快,TRACER更是室内运输场景无可替代的选择,这款产品我们发现在淘宝就有售卖,而且这两天松灵还打出了限时促销活动,其售价仅12800元


 


 

 

 

据机器人大讲堂了解,松灵TRACER目前还能根据具体需求提供不同解决方案,助力各个行业的制造业完成数字化智慧进化,进一步降低成本,提高生产效率。


 

例如在教学研究领域,松灵机器人提供了多种解决方案:
 

 

针对本科教育方向上,松灵机器人的桌面级移动抓取机器人LIMO Cobot ,具有多模态运动模式,卓越的稳定性和机动性,可以在各种地形环境中自如运动。
 

 

同时搭载ROS2的开源机器人软件平台,为LIMO提供了丰富的开发工具和功能库,可以帮助用户快速学习和开发机器人应用程序。
 


 

它可实现RViz、Nav2、Gazebo等不同开发工具,以实现自主导航与避障、自主探图、移动抓取、视觉识别等功能,让学习和开发机器人应用程序变得快速简单。


 

 

而在科研方向上,松灵还推出了具身智能教研平台Cobot S Kit
 


 

该套解决方案以差速驱动底盘TRACER或四驱四转底盘ranger mini2为基座,配备激光雷达、RGBD摄像头、控制云台等传感器,实现三维环境感知和自主避障。

 

同时提供机械臂控制和视觉抓取能力。基于ROS生态构建的完整移动机器人平台,可直接服务于具身智能相关的教学科研项目。

 

据悉,该方案目前还已在阿里的通义千问,智元机器人等项目中成功的应用。
 

 

 

 

 

持续升级的未来
 

 

我们发现,无论是发展前沿的机器人技术,还是教育、企业产品预研的需求,往往都离不开专业可靠的硬件支撑。


 

而我国松灵机器人凭借其自主研发多模态轮式和履带式线控底盘技术和机器人系统解决方案,目前正为全球机器人各领域提供前沿的定制化机器人应用方案,助力国内外机器人研究加速进行。


 

松灵机器人表示,目前可以定制同款斯坦福机器人,而且在未来还将持续带来更多创新和突破新产品,助力产学研界,为我们的生活、工作和学习提供更多的机器人可能性。


 

最后附上松灵机器人同款产品介绍和性能参数图: