至顶网软件频道消息: 3月22日,微软(亚洲)互联网工程院宣布率先推出新一代的语音交互技术:全双工语音交互感官(Full-duplex Voice Sense),并已完成产品化落地。与既有的单轮或多轮连续语音识别不同,这项新技术可实时预测人类即将说出的内容,实时生成回应并控制对话节奏,从而使长程语音交互成为可能。此外,采用该技术的智能硬件设备,将不再需要用户在每轮交互时都说出唤醒词,仅需一次唤醒,就可以轻松实现连续对话,将语音交互的自然度推进到一个新的层次。
目前,该技术已首先在微软小冰全球产品线中落地。其中在中国市场,除落户中国科技馆的小冰电话亭外,微软还与小米公司紧密合作,米家生态链Yeelight语音助手的市售硬件产品已开始进入千家万户。这是全球首个搭载全双工语音交互感官的智能设备,也是内置微软小冰的首个“双AI”智能设备。在日本市场,小冰凛菜(りんな)已通过该技术实现在直播平台中的落地,首个车载智能项目也已开始路试。微软计划于未来六个月内,完成该技术在更多产品线中的覆盖。
语音交互是对话式人工智能及智能硬件设备的基础之一。全双工语音交互技术的应用,有望实现用户体验的下一次飞跃,并成为人工智能语音交互的新“标准配置”。对此,微软小冰全球研发负责人周力博士表示:“从已落地的产品数据和用户反馈中,我们观察到一个普遍现象:用户一旦使用过微软小冰的全双工语音交互感官之后,再与其他语音助手交互时,他们普遍会开始感到不习惯,甚至会频繁忘记要对其他语音助手说唤醒词——新技术促进拟人自然度的显著提升,使人们对过去单轮或多轮连续语音交互体验的满意度迅速下降。这种新老交替的现象,符合我们的研发预期。”
微软全球资深副总裁、微软(亚洲)互联网工程院院长王永东博士表示:“我们预测,未来一年中,人工智能应用将越来越多地从某些单一技术领域,进入到发挥综合能力的阶段。微软已在这方面深入布局。此次全双工语音交互技术的推出,不仅涉及到计算机语音技术,还包括自然语言处理、人工智能内容创造等多个领域。这正是微软在这些领域长期储备、综合运用的成果之一。”
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。