多模态融合感知的智能机器爪，新国大苏研院李正国团队在《ACS Nano》发表科研成果

近日，新加坡国立大学苏州研究院（以下简称“新国大苏研院”）智慧医疗技术卓越研究中心高级研究员李正国及团队成员在国际顶尖学术期刊《ACS Nano》上发表研究成果。团队成功研发了一种基于多模态融合的智能软体机器爪感知系统，该感知系统集成了基于触觉传感器的局部感知和基于超声波传感器的整体感知，极大提升了感知系统的准确性和鲁棒性，为实现低成本和环境适应性强的智能机器爪提供了可能。

研究背景和思路

柔性电子器件（例如触觉传感器等）已经被广泛地应用于软体机器人中，以实现类似于人类皮肤的感知功能。传统的视觉定位方法是利用基于图像的视觉感知来定位空间中随机分布的抓取对象，但是这种方法对于昏暗和无光环境的适应性较差，并且数据采集和处理的复杂度较高，成本效益也不高。相比之下，利用超声波反射来实现物体距离和形态的高效测定，具有数据处理简单和成本效益高的优点，因此是一种行之有效的物体定位和识别方法。除此之外，通过多模态融合可以进一步提升感知系统准确性和鲁棒性。受此启发，李正国团队开展了基于摩擦纳米发电触觉/弯曲传感器和压电超声波传感器的多模态融合的智能机器手感知系统的研发工作。

▲基于多模态融合感知的智能机器爪示意图

技术亮点

该工作研发的智能软体机器手爪感知系统集成了多种传感器，包括压电超声波传感器、柔性摩擦电触觉传感器和手指弯曲传感器，可以自主定位和识别物体。通过超声波传感器反射的超声波，系统能够检测物体的顶部形貌和距离，并定位到抓取位置。在抓取过程中，摩擦电触觉传感器和手指弯曲传感器则可以捕捉到物体的大小、形状和材质等信息。这些多模态信息通过深度学习网络进行数据融合分析，可以有效地利用不同模态传感器的互补效应，提升物体识别的准确率，拓展智能软体机器手爪感知系统在实际应用中的功能性、适用性和鲁棒性。

▲超声波传感器的物体定位和顶部形貌识别

▲摩擦点触觉传感器和手指弯曲传感器的传感机制

应用场景

这项研究的意义在于将超声传感器和柔性摩擦电传感器进行融合，实现了软体机器手爪的自主定位和多模态感知。相比于传统的视觉感知，该项成果所提出的多模态融合感知系统不仅降低了制造成本和数据复杂度，同时还大大增强了智能机器人在各种工作环境，特别是昏暗和无光环境中的适用性。此外，该项技术在智能制造、无人商店和智能家居等各种物联网和人工智能物联网（AIoT）应用中也展现出巨大潜力。

▲多模态数据融合的物体识别系统

新国大苏研院的科研工作聚焦前沿技术，开展原创性、应用性研究，与产业发展强关联，与苏州工业园区及地方科技深融入，已建立环境与能源纳米科技、智慧医疗技术、大健康生物与食品工程等卓越研究中心以及生物医学工程创新中心。新国大苏研院致力于推动科技成果转化落地工作，希望通过研究产生有影响力的高科技创新产品，赋能地方产业升级。目前，研究院承担各级科研项目150余项，在国际著名期刊发表了1100余篇有影响力的科研论文，其中2篇发表在Nature母刊，29篇发表在Nature子刊。