智能语音技术让人机交互更“丝滑”
杏彩体育平台注册在北京InfoComm China 2024展会上,外国客商在科大讯飞展位前体验智能同传系统。受访单位供图
6月26日,中国科学院举办学部第九届学术年会,中国科学院外籍院士盖博·施德潘作学术报告。他一边用英语讲,同传系统一边将他的报告内容实时翻译为中文,呈现在大屏幕上。内容准确,翻译迅速,即使是专业名词也不在话下。
该同传系统所采用的技术正来自于不久前获得2023年度国家科学技术进步奖一等奖的“多语种智能语音关键技术及产业化”项目。
该项目由科大讯飞牵头,联合中国科学技术大学、清华大学、华为、中移(杭州)公司等高校及行业领军企业联合完成。项目历时10余年研发成功,攻克多项关键技术,构建起具有中国自主知识产权的多语种智能语音技术体系,为我国智能产业升级发展奠定坚实技术基础。
语音是人类最自然便捷的沟通方式,也是智能时代人机交互的关键入口。如今我们只需张张嘴,机器就能代替人类完成一系列任务。在这“丝滑”的交互体验背后,是一系列关键技术的创新突破。
要让机器听清、听懂人类语言并不是一件容易的事。语音识别研究中有一道最具挑战性的典型难题被称为“鸡尾酒会”效应,即远场环境、噪声干扰、多人语音混叠等现象导致的语音识别困难。“比如在一个嘈杂的鸡尾酒会上,很多人同时说话,背景音乐也很响,如何让机器在这样的环境中精准识别出需要的声音?这是很常见的应用场景,也是非常有挑战性的难题。”科大讯飞副总裁、研究院院长刘聪介绍,针对这一典型难题,研发团队提出了多通道语音信号时空分离建模方法,即先将人声和不同的噪音分离,再进行建模。同时,团队还提出度语音属性解耦表征方法。“简单来说就是解耦、提取内容、韵律、音色等语音属性,以便更准确地识别和传达语音信息,解决了‘鸡尾酒会’效应难题,使得复杂场景下语音识别准确率得到显著提升。”他说。
刘聪向记者展示的一个典型应用场景中,在人声嘈杂的大型会议现场,三人同时就不同主题进行混叠发言,此时正常人已难以分辨讲话人的具体内容。但智能语音技术不仅可以实现三人重叠语音的角色分离,还可以对每个人的发言进行实时转写,准确率在86%以上。
多语种翻译是智能语音技术另一高频、高需求应用场景,也是最能体现智能语音技术实力的场景之一。数据是语音技术训练的关键因素之一,但部分小语种训练知识匮乏、训练数据稀缺,成为困扰技术发展的瓶颈。
2014年,科大讯飞等单位开始研究包括中国部分民族语言在内的小语种智能语音技术。他们从维语和藏语等民族语言切入,与北京外国语大学、上海外国语大学等建立密切合作,积累了宝贵资源,沉淀大量技术。
在此基础上,研发团队设计出全新的多语种通用音素体系和基本语言单元,实现多语种统一音素韵律体系的构建。“我们将不同的小语种进行分类,找到同类语种的共同规律,在此基础上进行分析建模和训练。最终在训练数据数量、质量有限的情况下,显著提升了小语种语音系统性能。”刘聪介绍。
此外,为解决复杂应用场景下语音交互、语音翻译面临的深层次语义理解困难、专业性不足等难题,研发团队还提出了多源知识增强的可信文本生成技术,提升专有词汇及领域知识引用的准确率。为解决使用国产芯片开展智能语音算法模型训练和推理面临的性能低、适配难等问题,团队通过软硬件协同优化的动态张量算子自动融合、多硬件联合的量化计算模拟等方法,解决了智能语音技术硬件平台受制于人的问题。
近年来,大模型引发的人工智能浪潮席卷多个领域。智能语音技术同样也在大模型助力下不断取得新突破。“大模型+语音”的发展模式,被认为将给智能语音技术和产业带来新一轮性突破。
“比如大模型可以实现语音技术的超拟人合成,让机器说话不再有浓厚的朗读腔,能够像真人一样自然对话。而全双工交互,则可以同时、瞬时进行信号的双向传输,让人机对话可以随时打断和继续等。这些都让大模型在智能语音领域备受关注。”科大讯飞研究院常务副院长高建清介绍说,智能语音技术的关键创新与大模型技术相结合后,二者可以相互补充、相互促进。
例如,借助语音属性解耦、语音信号时空分离等技术突破,可以将语音信号经过编码后输入到大语言模型中,显著提升语音大模型的效果。“原来的语音合成、语音识别、机器翻译等单点技术,借助大模型后台的理解能力、文本生成能力,在语义理解、指令跟随、多轮对话、情绪感知、超拟人合成等方面实现了显著提升,使语音交互体验得到极大改善。”高建清说。
着眼未来,大模型技术可以在复杂语义理解、长文本建模能力上进一步提升语音识别、合成和翻译的效果。同时基于大模型强大的语义理解、知识问答、多轮对话、多模态建模能力,它也能进一步提升智能语音技术的使用场景和应用价值,支撑实现语音同传、自动客服、辅学答疑、家庭医生、虚拟员工、陪伴机器人、服务机器人等未来智能产品创新,培育出更多产业机会,加速通用人工智能时代到来。高建清认为,大模型时代的语音技术本质上是一次推动万物互联和原有人机交互场景重构的巨大产业机会,是语音产业的全新战略机遇。
目前,科大讯飞自主研发的多语种智能语音技术已支持69个语种,除了6个联合国通用语种(汉语、英语、法语、西班牙语、俄语、阿拉伯语)之外,还包括挪威语、丹麦语等小语种63个,均达到使用门槛。搭载相关技术的智能手机海内外累计激活超10亿台,车载智能化产品累计前装超5300万套,支持奇瑞、比亚迪、长安等车企超200万套“出海”订单。
该同传系统所采用的技术正来自于不久前获得2023年度国家科学技术进步奖一等奖的“多语种智能语音关键技术及产业化”项目。
日前,在北京亦庄全域人工智能之城创新发布会上,北京经济技术开发区管委会相关负责人向全球企业发布“招贤榜”,推动建设“人工智能之城”。
1日,风云三号F星(以下简称“F星”)正式投入业务运行,接棒风云三号C星,开展全球地气系统综合探测业务。根据部署,F星将尽快与其他在轨风云气象卫星组网业务运行,
市场监管总局日前发布33项重要国家计量技术规范,涉及定位导航、海洋观测、新能源、医疗健康等多个领域。这是新修订的《国家计量技术规范管理办法》自2024年5月1日施行以来,该局发布的第一批国家计量技术规范,
大位移井技术是有效开发动用海上边际油田储量的利器,采用大位移井技术可节省40%左右的投资费用,这使得一些油田重新具备了开采的价值,该技术可扩增南海东部边际油田储量超5000万吨。
先后生长测量了1000多个样品、一步步提高样品质量,2012年底,薛其坤团队终于成功在实验中观测到量子反常霍尔效应。
清晨,太阳从海平面上缓缓升起,一艘蓝白相间的船舶热闹了起来。一个重达2.5吨的ROV(无人揽控潜水器)基础平台从艉甲板被缓缓吊起、布放入水,展开测试工作。
6月30日,举世瞩目的粤港澳大湾区超级工程深中通道,正式通车试运营。深圳至中山的车程从此前的约2小时缩短至30分钟。
7年前,我脱下博士服,穿上蓝色工装,成为新松公司一名研发人员。这些年,怀着“让新松工业机器人技术水平赶超国外,实现国产机器人核心自研自产”的目标,我全力以赴攻克工业机器人创新研发高地,助力新松工业机器人在国际市场的角逐中,擦亮“中国‘智’造”的牌匾。
建设科技强国,向什么要动力?改革,唯有改革!党的以来,以习同志为核心的党中央对科技体制改革作出一系列重要战略部署,指引和推动科技体制改革持续深化。
在一项新研究中,美国俄亥俄州立大学神经科学家培育出一种特殊类型的人类白血细胞,能促进神经纤维再生。他们的最终目标是开发出利用这些特殊细胞的治疗方法,逆转视神经、大脑和脊髓损伤,恢复患者失去的神经功能。
本报记者 余晓葵摄/光明图片6月25日,与会嘉宾在交流讨论。 世界经济论坛公布的最新一批全球153座“灯塔工厂”中,有62家是中国企业,其中不乏光伏、新能源汽车等高科技企业。
记者陈海波、通讯员王玉琢从中国计量科学研究院(以下简称“中国计量院”)获悉,国际计量局(BIPM)官网日前发布北斗授时监测结果,标志着基于北斗的授时服务获国际认可,可以为全球提供精准可信的标准时间服务。 作为BIPM指定的国内唯一一家北斗授时监测机构,中国计量院是此次北斗授时监测数据的主要来源之一。
育秧、移栽是人们常见的水稻栽培方式,而将稻种直接播入大田进行水稻直播,是近年来一种轻简化的栽培方式,但也存在出苗率较低的问题。 研究表明,水稻中胚轴伸长对幼苗破土出苗具有关键作用,是提供其迅速破土的主要动力。
在24日召开的全国科技大会、国家科学技术奖励大会和中国科学院第二十一次院士大会、中国工程院第十七次院士大会上,习总强调,要深入践行构建人类命运共同体理念,推动科技开放合作。
26日,全球首列用于商业化运营的碳纤维地铁列车“CETROVO 1.0 碳星快轨”,在青岛正式发布。