麻省理工学院和IBM Watson AI Lab的研究人员创建了一个机器学习模型,用于预测听众在3D空间内的不同位置上会听到什么。
研究人员首先使用这个机器学习模型来了解房间中的任何声音是如何在空间中传播的,按照人们通过声音理解自身所处环境的方式构建3D房间的图景。
在麻省理工学院电气工程与计算机科学系(EECS)研究生Yilun Du共同撰写的一篇论文中,研究人员们展示了如何将类似于视觉3D建模的技术应用于声学领域。
但是他们要面对声音和光线传播的不同之处。例如,由于障碍物、房间的形状和声音的特性,听众处在房间中不同的位置可能会对声音产生非常不同的印象,从而让结果变得难以预测。
为了解决这个问题,研究人员们在他们的模型中建立了声学特征。首先,在所有其他条件都相同的情况下,交换声音源和听众的位置不会改变听众听到的内容。声音还特别受本地条件影响,例如位于听众和声音源之间的障碍物。
Du表示:“到目前为止,大多数研究人员只专注于视觉建模。但是作为人类,我们有多种感知模式。不仅视觉很重要,声音也很重要。我认为这项工作开辟了一个令人兴奋的研究方向,可以更好地利用声音来模拟世界。”
使用这种方法,生成的神经声场(NAF)模型能够对网格上的点进行随机采样,以了解特定位置的特征。例如,靠近门口会极大地影响听众听见房间另一侧声响的内容。
该模型能够根据听众在房间中的相对位置预测听众可能从特定声学刺激中听到的内容。
这篇论文表示:“通过将场景中的声学传播建模为线性时不变系统,NAF学会不断地将发射器和听众的位置映射到神经脉冲响应函数,后者可以应用于任意声音。”“我们证明了NAF的连续性让我们能够在任意位置为听众渲染空间声音,并且可以预测声音在新位置的传播。”
MIT-IBM Watson AI Lab的首席研究员Chuang Gan 也参与了该项目,他表示:“这项新技术可能会为在元宇宙应用程序创建多模态沉浸式体验带来新的机会。”
我们知道不是所有 Reg 读者都会对这个用例感到兴奋。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
Amazon研究团队开发出CompLLM压缩技术,能让AI处理长文档的速度提升4倍,内存消耗减半。该技术将长文档分段压缩成"概念嵌入",实现线性复杂度处理,解决了传统AI在处理超长文本时的计算瓶颈。实验显示在处理超长文档时性能优于传统方法,压缩结果可重复使用,为AI应用的效率优化提供了新方案。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
延世大学研究团队开发了BESPOKE评估基准,通过收集30位用户三周内2870个真实会话数据,从需求对齐、内容深度、语调和解释方式四个维度评估AI助手个性化能力。研究发现当前主流AI系统个性化表现普遍不足,平均得分仅60多分,但通过智能利用用户历史信息可显著改善效果,为开发更贴心的个性化AI助手提供了科学评估工具。