Nature Reviews Bioengineering |香港中文大学任洪亮团队提出人工动觉框架,突破视觉依赖
论文作者:Tangyou Liu(刘唐有), Sishen Yuan(袁思申), Hongliang Ren(任洪亮)*
![]()
在微创手术的临床场景中,外科医生的每一次精准操作,都离不开视觉与动觉(kinaesthesia)的协同发力—— 通过视觉捕捉器械与组织的宏观互动,再借助动觉感知肢体位置、运动状态和肌肉力量,精准解读器械与组织的微观反馈,哪怕视野受限,也能灵活调整操作力度,应对复杂的手术环境。
然而,当前主流的手术机器人却陷入了 “视觉依赖” 的困境:它们高度依赖高清摄像头和深度学习算法识别解剖结构,却缺乏人类外科医生那般的“触觉感知”能力。在面对变形组织、视野遮挡、术中出血等真实手术场景时,视觉数据容易变得模糊、不完整,机器人难以感知器械受力、组织滑移或皮下硬度,只能依赖预设程序被动应对,严重限制了其适应性和安全性。
如何让手术机器人也能 “看得见、摸得着、会思考”?近日,香港中文大学电子工程系任洪亮教授团队在《Nature Reviews Bioengineering》发表评论文章,系统性提出人工动觉(artificial kinaesthesia)分层框架,为解决这一核心难题提供了全新思路,也为下一代智能手术机器人的研发奠定了基础。
01.
人工动觉:让机器人拥有 “触觉智慧”
"认知是离散的,物理交互是连续的"。要将人类外科医生的多感官协同能力迁移到机器人系统中,关键在于构建一套涵盖“物理感知 - 算法解读 - 协同控制”的分层人工动觉框架,让机器人不仅能 “看见”,更能 “感知” 和 “理解” 手术过程中的物理互动。
![]()
图 1. 组织操纵中的视觉-动觉协同融合。在手动手术中,外科医生通过动态整合视觉和动觉反馈来实现精确和自适应控制。在下一代机器人手术中,自主系统需要视觉和动觉信息来达到专家级的灵活性和情境意识。
02.
感知-算法-框架多重挑战
1.物理感知层:给机器人装上 “灵敏触觉”
这一层的核心是让手术器械具备 “感知能力”。不同于传统的简单力测量,新一代技术正朝着复刻人类触觉的双重属性迈进:
本体感知(proprioception):通过集成形状传感技术,让机器人精准 “知晓” 自身器械的姿态和位置;
外感受(exteroception):借助仿生触觉感知技术,分离组织-器械多模态交互力,实现对外部环境的 “触觉感知”。
这些技术能捕捉器械与组织的接触力、顺应性动态等丰富物理信息,打破单纯依赖视觉的数据局限。
2.算法解读层:为感知数据赋予 “语义意义”
物理感知是 “收集信号”,算法解读是“理解信号”。人类外科医生对动觉反馈的处理分为两层:反射层(毫秒级连续调整)和认知层(解读力信号并做出离散决策)。
作者提出,机器人算法需要突破传统的 “信号纠错” 思维,构建类似的分层处理机制 —— 不仅要对力和运动数据进行实时调整,更要从中提取语义信息(如 “组织硬度异常”“器械即将滑移”),真正实现对器械 - 组织互动的 “理解”,而非单纯的被动响应。
3.协同控制层:实现 “感知 - 决策 - 行动” 闭环
最终,物理感知与算法解读需要通过一个可扩展的框架实现融合。团队提出,可将连续的力和运动信号离散为 “动觉 tokens”,构建 “视觉 - 动觉 - 语言 - 行动” 多模态模型:让高层模型(类似人类大脑皮层)负责复杂任务规划和语义推理,低层控制器(类似人类小脑)负责高频、平滑的运动执行,形成闭环控制,实现离散认识与连续物理交互的协同。让机器人的操作更灵活、更精准、更具适应性。
03.
结语:新一代自主手术机器人定义
人工动觉框架的提出,不仅指出了现有手术机器人的技术瓶颈,更为自主手术系统的发展指明了方向:未来的手术机器人将不再是 “视觉主导的执行者”,而是具备多感官协同感知能力的 “智能伙伴”—— 它们能通过物理传感捕捉细微反馈,通过算法解读理解手术场景,通过协同控制实现自适应操作,最终实现更具感知力、更直观、更强大的手术效果,为患者带来更安全、更精准的微创治疗体验。
该评论由香港中文大学电子工程系刘唐有博士(第一作者)、袁思申博士、任洪亮教授(通讯作者)共同完成,研究得到国家自然科学基金、香港研究资助局、香港中文大学等项目支持。目前,相关成果已被《Nature Reviews Bioengineering》编辑在 LinkedIn 重点推荐。
未来,随着人工动觉技术的不断发展,手术机器人将真正实现从 “视觉依赖” 到 “多感协同” 的跨越,为智能微创手术带来革命性变革。
阅读原文
Liu, T., Yuan, S. & Ren, H. Artificial kinaesthesia in autonomous robotic surgery. Nat Rev Bioeng (2026). https://doi.org/10.1038/s44222-026-00403-z
作者简介
![]()
刘唐有博士,香港中文大学电子工程系博士后研究员,于澳大利亚新南威尔士大学获得博士学位。研究方向包括手术机器人多模态感知、运动控制、智能决策,机器人与人工智能。发表论文20余篇,含一作 IEEE T-RO、T-MECH、IROS 等国际顶级期刊与会议。曾获ICRA 智能感知研讨会最佳海报奖、AIM 最佳学生论文奖,库卡机器人(KUKA)中国研发挑战赛冠军、ICRA-Robomaster AI挑战赛国际二等奖。主持香港中文大学IdeaBooster研究基金,并担任BIROB、I&R期刊青年编辑,Nature Communications、T-RO 等权威期刊的审稿人 。
![]()
袁思申博士,现为香港中文大学电子工程系博士后研究员,在香港中文大学电子工程系获博士学位 ,并曾就读于哈尔滨工业大学 。研究方向包括基于磁簇群的机械智能,显微手术机器人系统和面向大规模人群的医疗系统自动化等 ,并在 Nature Communications 、Science Advances 等学术期刊发表代表性论文,作品在“挑战杯”创新创业大赛中获银奖 。此外,还担任 Nature Communications、T-RO 等权威期刊的审稿人 ,并曾受邀担任 ICRA 等旗舰机器人会议的分会场主席。
![]()
任洪亮,香港中文大学教授、国自然青年科学基金A类(原杰青项目)获得者、全球前2%高被引科学家、IEEE 高级会员、ASME 会员、MICCAI 会员、新加坡生物医学工程学会会员。研究方向涵盖智能手术机器人、连续柔性顺应协作与认知机器人(C4R)、自主柔性机器人及传感、生物机器人与智能系统、医学机电一体化、软体机器人及传感器、多模态感知、图像引导手术的学习与控制、数据驱动机器人手术等。他曾获 IFMBE/IAMBE 早期职业奖、港中大青年研究员奖、Health Longevity Catalyst Award、NUS 工程青年研究者奖、EMedic 全球金/银奖等 30 多项国际奖项,并多次获得 IEEE ROBIO、CCECE、Cyber 等会议最佳论文奖。
【香港中文大学任洪亮教授课题组】
香港中文大学(CUHK)医学机器人感知与人工智能研究课题组欢迎博士/ 博士后/ 研究助理加入,主要领域包括:医学机器人与智能系统、图像引导手术中的AI学习与控制、医疗机电一体化、连续和柔性机器人与传感器、变刚度调控技术、AI辅助内窥诊断、医学图像处理等。更多详情,请参阅任洪亮教授Google Scholar信息页与实验室网站http://labren.org/.
来源:labren