实用手语识别系统新突破！新国大苏研院李正国团队在《Nature》子刊再发科研成果
近日，新加坡国立大学苏州研究院（以下简称“新国大苏研院”）智慧医疗技术卓越研究中心高级研究员李正国团队在国际顶尖学术期刊《自然•通讯》（《Nature Communications》）上发表科研成果。李正国团队成功研发了一种基于摩擦电手套的手语识别和交流系统，该系统在人工智能的辅助下，不仅实现了普遍的多个手语单词识别，还能对句子特别是未经人工智能训练的新句子进行解析与翻译，满足了语言/听觉障碍者高频率使用句子的日常交流需求，提高了手语识别系统的实用性。
▲手语识别与交流系统、传感器分布示意图及传感器基本表征
手语识别，尤其是句子识别，对于减少听力/语言障碍者和非手语者之间的交流障碍具有重要意义。目前主流之一的手套解决方案依赖信号幅值，频率或者峰值数的简单特征，只能识别少数的离散的单一手势（即数字、字母或单词），无法满足手语者日常交流的需求。近年来，虽然人工智能辅助的穿戴式界面能识别更多种类的单字，但依旧无法解决句子特别是未经人工智能训练的新句子的识别问题。对此，李正国团队创新提出了一种句子分割方法，开展了人工智能辅助的实用手语识别系统的研发工作。
该系统包括摩擦电传感手套、深度学习模块和用户界面。作为演示，该系统实现了对50个单词和20个句子的独立识别，在非分割框架内，其准确率分别高达91.3%和95%。此外，为了克服无法识别未经训练的新句子的局限，分割法将数据集内的句子信号划分为单词片段，深度学习模型则负责记忆所有出现过的单词单元。得益于单字与句子间的某种关联，单层分类器和多层分类器能够重建并识别数据库内已经存在的句子。同时，分割法还提供了识别未经人工智能训练的新句子的可能性，这些句子中的单词单元都存在于数据库中，但以一种全新的顺序排列。虚拟现实界面是手语使用者与非使用者的沟通桥梁。在此界面上，语言/听力障碍者可以直接使用手语与非手语使用者进行互动，非手语使用者则能直接打字参与交流。
▲分割法示意图及分割后标签汇总
▲分割法下单词与数据库内已经存在的句子的识别率及未经训练的新句子识别示意图
该项成果未来可为语言/听力障碍者提供有效的交流平台，对减少手语使用者与非使用者的沟通障碍和提高语言/听力障碍者的社会参与感具有重要意义。此外，该项技术也可应用于残疾人辅助设备、医疗健康等领域，助力以人为本的物联网建设。
▲应用于语言/听力障碍者与非手语使用者的交流
新国大苏研院的科研工作聚焦前沿技术，开展原创性、应用性研究，与产业发展强关联，与苏州工业园区及地方科技深融入，已建立环境与能源纳米科技、智慧医疗技术、大健康生物与食品工程等卓越研究中心。新国大苏研院致力于推动科技成果转化落地工作，希望通过研究产生有影响力的高科技创新产品，赋能地方产业升级。目前，研究院承担各项科研项目100余项，在国际著名期刊发表了800余篇有影响力的科研论文，其中2篇发表在Nature母刊，14篇发表在Nature子刊。
