机器人到底能不能走入家庭，这是很多人都关心的问题，现阶段在一定程度上，通过编程机器人可以处理简单固定的日常任务。但如果处于相对复杂的厨房等应用场景，机器人则会变得束手无策。多年以来，研发人员一直在尝试开发能够处理各种日常家务的机器人，例如洗碗或整理房间，但到目前为止，这种机器人依然停留在实验室阶段，并没有大规模商用。

近日，纽约大学的研究人员最近推出了Dobb-E，这是一种专门设计用于训练移动机器人完成家务任务的新框架，目前该研究论文已发布于arXiv平台。

论文合著者Lerrel Pinto表示，“我们家里已经有了专业的‘机器人’，比如洗碗机或洗衣机，但是一个能够学习如何完成每项家庭作业以及如何在这种情况下提供最好帮助的通用机器人一直是一个遥远的目标。现在已经太久了。”

首先，该团队希望设计一种有效的方法，使用户能够快速教授机器人新技能，同时确保机器人安全，在实时新任务时不会造成任何损坏。此外，机器人的操作应该尽可能简单化，让操作者可以轻松上手。

Dobb-E框架有四个关键组件，即数据收集工具、预训练模型、多样化数据集和部署方案。第一个组件称为“Stick”，旨在利用用户的智能手机简化数据收集。

Lerrel Pinto说：“The Stick是我们廉价但符合人体工程学的数据收集工具，它由抓取器工具、3D打印支架和 iPhone Pro 构建而成。” 数据采集平台价格低廉，而安装的 iPhone 使我们能够从演示中记录高分辨率视频、深度和运动信息。
 

Lerrel Pinto和他的同事使用 Stick 数据收集工具编译了一个用于训练家用机器人的新数据集，他们将其称为 Homes of New York (HoNY) 数据集。该数据集包含使用他们在纽约 216 个家庭环境中基于智能手机的设置收集的镜头。

与过去开发的其他机器人训练数据集不同，HoNY 数据集专注于更多样化的场景和机器人行为。此外，Stick 收集工具使他们能够编译比以前数据集中的场景多一个数量级的场景。

Dobb-E框架的第三个组成部分是预训练的感知模型。该模型采用自我监督学习方法在 HoNY 数据集上进行训练。

值得关注的是，机器人被教导完成 109 种不同的家务活。对于每一项任务，研究人员平均使用五分钟的新视频数据对模型进行了微调。Lerrel Pinto表示：“这篇论文最令人兴奋的结果是证实，以我们目前的技术水平，我们可以构建学习型机器人代理，可以在类似的大范围家庭中解决各种任务。”

不过Dobb-E框架虽然解决了在各种不同场景中学习低级技能的问题，但在执行高阶日常家务需求任务方面还是略显不足，尤其是将各项技能集合在一起之后的落地应用。但Dobb-E框架依然给了我们全新的设计思路，简单低成本的数据采集以及简单微调即可适配不同任务需求，让我们对未来服务机器人走进家庭充满了期待。

论文下载地址：https://arxiv.org/pdf/2311.16098.pdf