关注聋哑人,从“手”开始!

你能想象一副手套就能让聋哑人“听到”声音并开口“说话”吗?

发表于2018-11-21 18:47| 来源CSDN| 作者CSDN

你能想象一副手套就能让聋哑人听到声音并开口说话吗?这事儿听起来很神奇,却被来自福州大学的一群在校生实现啦,而且还在科大讯飞AI开发者大赛的决赛现场技压群雄,勇夺冠军。


据了解,这支颇具创新意识的冠军学生团队主要由三名研究生以及多名本科生组成,十几个人通过近半年时间,研发了一款具有社交功能的手套,主要通过手语识别、语音识别、语音合成等多项技术来破除听障人士的沟通障碍。

据了解,“E-chat”聋哑人社交手套外形与普通手套无异,但上面却是机关密布。聋哑人只要佩戴手套后,通过采集相应的手势信息就可将手语表达翻译为语音信息;相反,正常人的语音通过识别之后,又将转化为聋哑人熟悉的手语,并显示在手机屏幕上,双向翻译形成语音和手语之间的沟通闭环,这就有点儿像风靡一时的语音翻译工具。

谈及这款颇具人文情怀的发明,Forever Young团队的初创成员之一林鹏程表示,最初研发的灵感主要来自一场学校组织的手语比赛。当时我们都不懂手语,就想着先做个翻译器,后来觉得如果有一项技术可以将眼前的手语转化成声音,那不是更加方便了?而且对听障朋友会特别有意义!

此外团队成员在本科阶段也确实接触并研发过这种性质的数据手套,又同时捕捉到MEMS传感器在最近几年内迅速发展的态势,所以从最初只是想通过这次实践深入学习一些有关传感器的技术点,结果却演变成通过见证聋哑人的生活并在学校图书馆进行学生手语调查等一系列切身实践后,深刻体会到这项发明的巨大潜力,也就随着时间推移不断完善,并加以推广了。


据了解,就在去年12月,Forever Young团队凭借“Echat”聋哑人社交手套报名参加了与开发者相关的创新赛事,经过4个多月的比拼,从1700多支参赛队伍中脱颖而出,最终勇夺最佳创新项目特等奖。

关于参加这次科大讯飞主办的AI开发者大赛,团队成员表示,之前本身就使用过科大讯飞的产品并对其深入了解过,如今看到这样一个现场学习的好机会,就抱着试一试的想法来了。没想到会有这么大的惊喜,而且能够为不懂手语的朋友与听障人士更便捷准确的交流带来助力,很有成就感。

深入探讨这款酷产品,我们发现,从技术方面,Forever Young团队通过参加各类比赛切磋,带来了技术层面一次又一次的成功、精准的迭代,而且手语算法作为团队的核心竞争力,目前已经申请了国家级专利。历经发展,就在今年4月,团队首次尝试使用智能手机作为平台,并对算法进行提升,经过不断努力手套如今已能识别近300个词汇和短句。

尽管这项创新应用已经获得了很多关注以及鼓励,但研发过程所中所面对的困难还是让人长舒一口气。

硬件方面,我们希望产品完工后足够轻便,所以换了好几十版电路以及许多元器件的封装,最终为了可以更好集成在一块小电路板上。具体来说,我们开始使用的是0805的封装,后来又改用了0603,这样前前后后换了十几版电路,遗憾的是至今还没有达到我们理想中的大小,仍旧需要不断尝试。团队成员说。

除了硬件层面,软件方其实也遇到了一些小问题。Forever Young团队的初创成员之一林鹏程总结道,其实开始从底层的驱动设计入手,就出现了很多bug,经过调试之后才有相对安全的范围以及稳定结果;另外对手势识别的设计方面,挑战是最大的:从最开始的机器学习过渡到深度学习方式,这是一个不断改进的过程,虽然目前已经达到了89%的识别率,但未来进步的空间还很大;此外对手套各项功能的提升,一直面临着不小的资金瓶颈,如果想要实现手套完全脱离手机这种智能化程度,未来还需要找到伯乐一枚共同完善设计。

不过可喜的一点,通过参加比赛,团队成员纷纷从科大讯飞的语音技术上收获启发,将作品中加入讯飞的语音技术后收效明显,未来还将在识别能力以及硬件的外观方面完成更进一步的改进,更好发挥AIUI的能力,通过关键词语义理解技术来弥补词汇量的不足,实践更自然的表达。

谈到对未来智慧时代的畅想,林鹏程觉得,在未来的发展中,即使AI不能完全替代人类枯燥乏味的工作,也至少可以帮助人类减少这类工作的重复执行,提高效率并解放双手根本不在话下;人们最起码的居家生活会不间断涌入AI 产品以及应用,就像如今风靡的智能音箱一样,丰富知识并拓宽信息获取的渠道将变得异常简单,在此背景下,来源于生活并助力生活便捷的手套只是一个开始。

2
超过80%语音开发者的共同选择