首页  新闻动态  理论学习  媒体看理工  关注热点  相关下载 
当前位置: 首页>>媒体看理工>>正文
《人民日报》海外版——帮助听障人士获取信息、表达想法“我们沟通更顺畅了”
2022-09-27 12:32  


电视画面中,主持人侃侃而谈,一旁的“AI手语主播”同步出镜,将包含大量冬季体育运动专业词汇的语言一一翻译……这一幕,发生在北京冬奥会期间。在央视新闻冬奥直播特别节目中,“AI手语主播”的出现让人眼前一亮,受到不少听障人士的欢迎。


“能将科研成果带到举世瞩目的冬奥会上,服务于电视机前的听障观众,我们感到十分自豪。”天津理工大学聋人工学院副院长袁甜甜告诉记者,“AI手语主播”的背后,隐藏着一个庞大的手语视频资料库,过去5年,她带领学校鲸言创益无障碍智能科技研发团队克服重重困难,构建起30余万条的视频语料库。如今,他们打造的“复杂场景下中国手语实时翻译系统”已受到科创领域的不少关注,在未来各种应用场景下,更多听障人士被“听”见,正在走向可能。


“为什么一定要把手语翻译成文字或语言呢?现在语音识别软件这么多,听障人不会说,打字给健听人看不就行了吗?” 项目启动之初,不少人曾对这项研究的必要性提出怀疑。“这些语音识别软件,逻辑出发点永远绕不开健听人,对听障人来说,他们更渴望的是自己的‘语言’可以被社会听见、听懂。”袁甜甜说。


不久前,天津市急救中心工作人员闻讯找到袁甜甜:“你们的项目能否考虑在急救领域落地,我们太需要了!”在急救工作中,遇到听障人士是常有的事,生死垂危之际,很少有患者还有意识在手机上打字,而要求医生和急救人员会手语更不现实。


“要想让这套系统应用于更多场景,就需要让语料库变得更加丰富。”团队成员、聋人工学院网络工程专业2018级学生王建源的主要工作就是搭建语料库,“招募会手语的志愿者来录视频,反反复复地录。”王建源介绍。两年时间里,王建源和伙伴们几乎每天都会出现在学院三楼实验室,有时忙到很晚,干脆席地而睡。他们已经收集到30余万条语料,“经过测算对比,距离中国汉语水平考试的4级水平仅差100多个词了。”王建源“说”完,一旁的显示屏上准确显示出上述文字。


手语是一门视觉语言,有它特定的语法、语序。手势、表情、肢体动作自由排列组合,表达的是不同的意思。“比如说‘阳光总在风雨后’这句话,手语的语序是‘风/雨/结束/阳光’,让健听人看得懂,就要用到计算机算法。”计算机学院研一学生孙悦说,在算法模型搭建中,他们渐渐总结出规律,能够将一段手语中的手势、表情、肢体动作全部识别到位,“通俗地讲,就是我们给计算机编了一套‘教材’。”在孙悦看来,这套“教材”正是他们找寻的听障人沟通外界的那座“桥”。


“这套系统已经涵盖教育、法律、餐饮、交通等应用场景,在光线充足的环境下,识别率可达95%。”袁甜甜说,系统还在飞速升级,“我们目标是100万条语料,基本覆盖社会生活的常用场景。”


“沟通永远是双向的,我身边的这些孩子们不是残障,他们只是‘不一样’。我们要做的就是,用科技的力量让他们被‘听到’、被‘听懂’。”袁甜甜说。

关闭窗口
最新通知  
图文速递 更多>>

天津理工大学党委宣传部版权所有

联系我们:60215616

办公邮箱:jxc@tjut.edu.cn