在非结构化环境下，如果让机器人仅依靠大语言模型会存在比较严重的时延和人工智能幻觉，目前解决这个问题相对可行的方案是使用知识图谱+大模型+小模型，提升机器人的自主决策与作业能力。
 

——之江实验室 宋伟

▍宋伟研究员简介：

宋伟是之江实验室智能机器人研究中心副主任，同时也担任“十三五”国家重点研发计划智能机器人重点专项的项目/课题综合绩效评审专家、“十三五”国家重点研发计划智能机器人重点专项的项目技术专家、中国机器人峰会专家委员会委员、智能机器人技术浙江省工程研究中心学术委员会委员、浙江省机器人产业发展协会秘书长、浙江省机器人产业技术联盟秘书长等职位。

宋伟的研究方向为，机器人自主决策、特种作业机器人、仿生机器人。其团队主要围绕智能机器人云脑关键技术，开展多模态机器人知识库构建、人机交互过程的意图理解、机器人自主决策方法、异构集群的任务调度与协同等研究工作。   

▍解决机器人端到端的自主决策能力 是提升机器人泛化性的关键

12月8日宋伟研究员出席湖州举办的2023机器人行业年会，在接受机器人大讲堂采访时指出，“机器人+AI”是未来行业发展的主流，但我们也应该意识到一个问题，目前大语言模型并不具备具体场景信息的描述，这部分可以看成感知信息或者先验知识。此外，大语言模型更类似一个黑箱的存在，你不知道它内部的底层逻辑是什么，有时会生成一些逻辑或结果的错误答案，也就是一本正经的胡说八道。

虽然大模型一定程度上能够解决通用认知问题，帮助机器人提升感知与理解能力，但在实际场景的应用下，仅依靠大模型进行作业任务决策，实际准确率的表现并不突出，也存在算力紧张与较大时延等问题。同时，实时准确的环境感知是机器人智能地决策与作业的前提，大模型目前的处理速度也难以支持上述需求。

因此，我们会更加倾向于使用部署在边缘服务器的知识图谱，连同云端的大模型来实现分层的决策，并通过部署在机器人端或边缘服务器的感知算法来处理实时环境感知数据，以提供具体场景信息供机器人执行移动作业任务。基于上述思路，目前我们团队一直在攻克机器人在不同非结构化场景下的自主感知决策能力，增加机器人在不同环境下的自主适配性。

现在机器人与人类的思维模式可以说是不同的。传统机器人是采用预先编程的决策思路，类似通过if……else的指令来实现“感知-决策”的循环，同时需要做运动轨迹的动态规划与跟踪控制。而我们人则更是一种端到端的过程。以拿水杯为例，我们人类看到水杯之后，直接伸展手臂让手到达水杯处，然后手指抓握起水杯，直接是一种感知信息驱动的动作执行，而且泛化能力非常强。什么时候能够实现了这种从输入的视觉信息到最后的操控操作，那机器人作业的泛化性就非常强了。   

▍未来7B小模型更好的应用于本地化部署 减少操作风险

宋伟透露，除了知识图谱+大模型之外，目前他们团队也在积极探索7b小模型在机器人领域的研究，有别于大语言模型的数据量优势，7b小模型虽然在泛化与推理能力上有所降低，但在安全性与本地化部署方面拥有一定优势。

7b模型微调流程示意图
 

大语言模型依赖于网络，需要从云端调用该服务。如同我们的智能音响一样，网络没了，音乐也不播放了。生活中这类电子消费品如果断网，往往不会造成怎样的危害，换作机器人则可能完全不一样，比如正在手术当中的机器人断网，以及处于危险环境作业的机器人等。

其实近期我们也看到了越来越多关于小模型应用的研究，比如在一些智能手机上部署小模型。目前我们在做的是通过多个7b小模型组成一个混合模型，来实现复杂任务的决策，在自己制作的机器人决策数据集上实现了较好的效果提升。    

多个7b模型构成的混合专家模型示意图

宋伟表示，目前在机器人领域云、边、端协同的落地应用越来越多，云端我们一般会看成通用大模型或者是领域大模型，再往下一层边侧是更小参数量的领域模型或小模型，通常具备一定的决策能力或环境感知能力。机器人端侧也可以部署小模型处理一些执行指令。

目前宋伟团队正在办公室、茶水间、家居等场景开展上述工作的验证，同时结合仿真环境来收集更多的数据与在更多的场景任务下进行测试。

▍给年轻就业者忠告：找到自己兴趣点 做不可替代性工作很重要

作为人工智能与机器人领域的研究人员，宋伟在谈到目前机器人领域就业环境表示，机器人是多学科高度结合的领域。尤其是作为高校学生，建议在校期间应该主动参与学科竞赛，提升自己的综合素质，如果有机会能够加入高校实验室，参与到实际机器人科研项目会更好。尽量不要在开始的时候给自己定性，在实际的研究当中，有很多领域知识并不是学校老师教的，而是通过自己的兴趣产生自驱力进行学习的，所以对于机器人领域产生兴趣很关键。   

其次你需要一个团队来进行协同，包括目前主流的高校实验室研究团队，以及国内一些知名的公司，在刚开始的时候都是从两三个人开始一点点逐步发展壮大，尽早能够加入一个志同道合的团队。如果没有团队，找到几个有相同想法的人一起来做项目和参与竞赛，不断地摸索与尝试很重要。

在就业选择方面，目前在机器人领域就业方面存在就业三大梯队，基于软件算法层面工资高，而基于机器人硬件层面，工资低，投入研发周期长，因此被很多学生摒弃。对于这种看法，宋伟并不认同。

目前机器人领域基于硬件的研究是底层逻辑，即便是后期喜欢计算机视觉、定位导航、运动控制规划等算法研究，也建议先要了解底层硬件，再基于兴趣来延伸自己的未来职业定位。机器人领域的工作没有高低贵贱之分，目前工资高低仅仅是需求不同。而且在大模型出来之后，这些基于软件算法的工作是很有可能会被替代掉，因此在择业的时候第一是要找到自己真正感兴趣的领域。第二把基本功做扎实，了解底层硬件的基本运行逻辑。第三把眼光放长远，不断的学习新知识新技能。