上海国际康复活动中心 诺宝艺术馆 特奥纪念馆 生命阳光馆

[关闭]

【成果应用】科大讯飞“听见A.I.的声音”走进中国残疾人艺术团 ​——讯飞听见云会议、录音宝M1助力残疾人远程教学

  • 文章来源: 无障碍智库
  • 发布时间:2020.07.24


大美无障爱:发现美 传递爱


科大讯飞“听见A.I.的声音”

走进中国残疾人艺术团

——讯飞听见云会议、录音宝M1助力残疾人远程教学

 

一、 背景与起因
为了阻断疫情向校园蔓延,确保师生生命安全和身体健康,教育部明确2020年春季延期开学,并提出“停课不停学”。目前,各地学校陆续开始行动,老师们纷纷通过开设网络直播给学生上课。受疫情影响,残疾人艺术团的线下教学工作也受到了一定的阻碍,在“停课不停学”上,因为大多网络学习课件没和直播课程有字幕及手语解释,听障学生其实更应当收到社会更多的关注与帮助。
 

上图中国残疾人艺术团学员

2019年5月15日,第二十九个全国助残日上,中国聋协联合科大讯飞正式发起了“听见A.I.的声音”关爱听障人士公益行动。讯飞听见APP承诺向所有听障用户提供终身免费转写服务。适逢“听见A.I.的声音”关爱行动一周年之际,科大讯飞于2020年5月15日再次来到中国残疾人艺术团,为艺术团的80余名听障同学进行了一场“云捐赠”,包含讯飞听见云会议产品及近百台讯飞听见录音宝M1,并通过线下+线上连线的新方式为同学们进行培训,手把手教会大家使用。

二、 创新点
网络授课方式显著降低了讲课听课的门槛,多种学习软件、学习视频、网络课堂APP层出不穷,让普通人随时随地都可以在线学习,获取前沿知识。然而,听力不同的观众,对字幕详细程度的需求差别很大。听力没有损失的观众,只要画面上有幻灯片或者关键词,他们已经能轻松地听明白全部细节。对有听力损失的观众来说,视频和直播中所有的言语信息要逐字展示,与画面同步,才是一个完整的、可以理解的信息结构。对于有更严重的听力损失的观众来说,有时还需要提示背景环境音,使看不见的声音能够被“看”到:比如日本的一些信息无障碍电影中,甚至汽车鸣笛的背景音都要通过文字显现。
最受听障人士欢迎的,还是配有字幕的网络课程。无论是电视、电话,还是视频、音频,传输的声音信号都有一定的变形,这让听障人士,特别是中重度听障者,辨听电子声多少有一定的困难。而带有字幕的视频,能够帮助他们实时对接声音与画面。
可见,言语信息的逐字字幕是通用无障碍设施的一部分,可以覆盖到最多人群的需要,和建筑物门口的无障碍斜坡性质是一样的,它是声音世界里的坡道。

三、 主要做法
对于听障学生来说,“云课堂”下的信息无障碍需求,主要体现在搭配字幕。网络远程教学的字幕呈现,应该满足以下几个原则:
1、制作尽量自动化,不需要额外雇用翻译(速录师)来同步转录,或者要求亲戚朋友长时间做兼职的同声传译。
2、确保声音、画面、课件、字幕信息同步。
3、可反复回放。
4、位置最好在屏幕下方或者右方,并带有延时交替性(类似卡拉OK那样,后一句话出现时,前一句话不要马上消失,逐句顶替)。一些老师讲课语速较快,听障学生低头记笔记的时候,注意力难以一心二用,很容易错过老师没有强调的重点。
5、上手简单快捷,对老师和学生双方来说,学习成本都很低。
6、不容易引起教学内容方面的知识产权争议,授课者也更愿意配合。
为此,科大讯飞利用听见云会议产品为残疾人远程教学提供“软件+硬件”全套无障碍教学解决方案,软件服务包括:多方音视频通信、实时语音转写、中英文互译等;硬件终端包括:一款以多功能视频通信、实时语音转写及翻译为核心功能,可放置在老师讲桌上或办公桌的高端智能教学设备讯飞听见L1;提供各类软件客户端(IOS,ANDROID,WINDOWS,MAC端),听障可使用各种设备(手机、电脑、讯飞听见L1等)开启教学进行即时沟通,通过业界领先的语音转写、翻译及基于云架构多系统兼容的视频通信技术,实现视频教学语音转写、远程课件分享、教学全程记录、教学成果沉淀、内容快速分享等独特功能。
 
 


5月15日,残疾人艺术团80余名听障同学体验了这种学习新的形式,使用讯飞听见云会议进行授课,现场通过讯飞听见云会议远程连线了身处外地暂时无法复课的同学,产品对发言人提供实时语音转文字的服务,将字幕呈现在屏幕端,帮助每一位听障学生进行实时的沟通,变听为看,成为他们与世界沟通的小耳朵。
  

 上图;:参加培训的孩子们
  

上图:运用听见云会议进行远程教学培训
  

上图:培训现场

 
四、 成效与反响
“大多数的人会认为听障群体通过手语就能进行准确的沟通和理解,其实不然。普通人的语言表达其实是非常丰富的,除了肢体表情,还有文字的描述,相近的词语在不同的语境下表达的意思可能千差万别。对于他们来说,唇语、手语加文字,如此立体的三方理解培养,至关重要。而随着技术的不断成熟,尤其是像讯飞听见的语音转文字技术,对于听障群体来说,是一件帮助他们与世界沟通的有效手段。”中国残疾人艺术团张京津副团长说道。残疾人艺术团日常会使用讯飞听见云会议进行远程教学,同学们不仅能看见手语,同时还可以看到实时的字幕出现在屏幕下方。艺术团内80余名听障学生还会使用讯飞听见录音宝M1连接手机中的讯飞听见APP进行日常的沟通、学习。
 
五、 经验与启示
如今A.I.正在持续助力社会的无障碍建设,通过人工智能技术把语音转化成文字,变听为看、看听结合,让听障人士通过文字去感受世界、与人沟通交流、顺利完成工作学习,建立起与听障人士沟通的桥梁。“通过这些A.I.技术的加持,现在的听障孩子们与陌生人、与世界沟通的能力也开始越来越好了。能让他们在理解能力和沟通能力上与普通人更接近。”张京津副团长如是说。


————————————————