PRODUCTS
6月6日下午，全球人工智能技能大会期间，聚集全球化多语种需求，着眼于言语互通在“一带一路”中的基础性作用，在多语种智能信息处理专题论坛上，科大讯飞研讨院履行院长刘聪宣布《用体系性立异破局多语种智能语音言语技能难题》主题讲演。
据了解，当时，语音已成为万物互联年代人机交互的要害进口，语音输入、语音查找、语音交互等技能现已成为手机、车载、玩具等智能产品的标配。另一方面，“一带一路”的建造依靠言语互通，多语种翻译技能价值凸显。此外，多语种语音言语技能也触及国家信息安全等严重方向，成为国际各国竞相布局的要害技能方向。
因而，不管从社会刚需，仍是国家战略、信息安全等方面考虑，布局多语种语音言语技能都显得尤为重要。
刘聪表明，未来十年，咱们将环绕语音交互、言语翻译等刚需使用场景，展开多语种语音辨认、语音组成、机器翻译、图文辨认等智能语音言语技能的体系性布局，掩盖包含“一带一路”和国际首要国家在内的70多种言语。
“咱们十分清楚要将70多种言语的智能语音言语技能做到有用水平，并没有那么简单，所以咱们方案用十年的时刻去霸占这个难题。”
一是不同言语的用户散布存在显着的长尾效应，小语种言语分析研讨的堆集和投入缺乏。不同言语一起的言语现象十分杂乱，相关常识的全面堆集以及常识与技能的交融均存在困难；
二是多语种练习数据稀缺，制造难度和本钱较大，难以支撑很多语种体系的研制；
三是语音组成、图文辨认、语音辨认、机器翻译等多语种技能触及70个语种、云端和本地引擎，以及不同范畴需求研制布置成百上千套体系，很多体系批量构建存在难题。一起，当时根据级联的语音翻译、图片翻译也存在差错分散问题。
刘聪以为：“多语种技能的全面推进，包含技能立异和使用落地，不能只靠单点技能的立异，迫切需求经过体系性立异的方法来破局。”
什么是体系性立异？科大讯飞总结了三大要害要素：一是要害的核心技能作用要跨过技能距离，到达使用门槛；深度交融立异链条上的各个要害技能，激起立异才能；针对严重的前史出题社会出题进行体系性解析，并将其转化为科学问题。
单点技能打破方面，从2006年研制的中文白话评测机器评分超越专业评测员平均水平，到2015年研制的机器中文语音转写正确率超越人类速记员水平，再到智医助理机器人经过国家执业医生资历考试归纳书面考试测验、中英语音翻译到达CATTI全国翻译专业资历（水平）考试二级合格规范……科大讯飞不断在单点技能上获得打破。
在立异链条上各要害技能的深度交融方面，根据核心技能的深度了解，咱们能够进行多个方向技能的协同立异。刘聪举例，2016年，科大讯飞根据语音谱图和图画的相似性，成功将卷积神经网络使用于语音辨认，提出DFCNN建模技能，将其拓宽到图文辨认使命上也获得了大幅提高。
“关于多语种智能语音言语技能研制及工业化而言，因为其触及言语很多、技能完结杂乱，咱们将其作为一个体系工程进行推进。”刘聪表明。
他从数据、算法、渠道等维度，共享了科大讯飞在多语种智能语音言语技能体系性立异中的考虑和实践。在数据方面，科大讯飞研制了根据人机协同的多语种数据标示渠道；在算法方面，要点展开了多语种端到端一致建模结构、无监督/弱监督练习，以及语音/图片翻译多使命协同优化等方向的研讨；在研制练习功率优化方面，构建了多语种模型主动练习及定制优化渠道，以推进多语种体系的批量研制，处理人工耗时耗力问题。
“根据体系性立异，咱们现已完结一套完好的多语种语音言语体系研制，包含60种言语的语音组成，69种言语的语音辨认，56种言语的图文辨认，在以及168种言语与中文的机器翻译。”刘聪指出，部分语种现已上线讯飞敞开渠道，对外供给服务。
得益于体系性立异，科大讯飞多语种智能语音言语技能在语音交互、言语翻译等场景开始获得规模化使用落地。
在多语种交互方面，科大讯飞与俄罗斯轿车工程研讨院（NAMI）、奇瑞等国内外多个厂商展开多语种协作，现在已掩盖英语、俄语、日语、泰语、西班牙语、意大利语等首要语种。
在多语种翻译方面，科大讯飞2016年发布的讯飞翻译机创始了AI翻译机新品类，本年5月又推出双屏翻译机，继续引领智能翻译硬件潮流。讯飞听见同传产品广泛使用于大型会议、发布会、博览会等场景，已服务大会超1万场次，服务人数超3亿。科大讯飞还成为北京2022年冬奥会和冬残奥会官方主动语音转化与翻译独家供货商，助力打造人类前史上首个信息沟通无障碍的奥运会。
此外，为了赋能海外开发者，依托智能语音国家新一代人工智能敞开立异渠道，2020年4月科大讯飞在新加坡布置了海外站点，为海外开发者供给多语种语音辨认、语音组成、机器翻译、图文辨认和语音评测等才能，海外开发者数量现已超越7万人。
刘聪指出，虽然在多语种技能研制和工业使用方面，咱们获得开始成效，但咱们也应清醒认识到，当时很多低资源语种的技能水平比较中英文等资源丰富语种还有较大距离。依托“科技冬奥”、“科技立异2030”等国家科技部要点研制方案，科大讯飞现在联合了中科大、哈工大、新疆大学、上海外国语大学等国内很多科研单位，已形成了广泛的多语种产学研联盟，一起推进我国多语种智能语音言语技能进步。
