至顶网软件频道消息:麻省理工学院计算机科学与人工智能实验室的一个研究人员团队开发了一种名为Pensieve的人工智能,可以使缓慢或模糊的网络视频成为过去。
流媒体视频内容近年来一直在跨越式发展,但不幸的是它的带宽要求也呈现出跨越式的跃升。为了克服这个挑战,像YouTube或Netflix这样的视频平台使用了将视频分成更容易处理的块的算法。如果他们的系统检测到您的互联网速度减慢,下一个视频片段将以较低的分辨率播放,用这种方式努力追上播放进度。
该系统背后的思路是确保顺畅的视频播放,但有时即使是质量下降,视频仍然会暂停几秒钟,因为它试图缓冲下一个块。这是因为算法并不总是准确地预测下一个块应该使用什么分辨率。
这正是Pensieve的用武之地。麻省理工学院的研究人员使用一种奖励和惩罚系统来开发它,训练它来识别有效的缓冲技术。例如,只要成功播放完整的视频而不必重新缓存,Pensieve就可以得到奖励,如果视频质量低于某个阈值,它则可能会受到惩罚。
博士生Hongzi Mao是这篇描述了Pensieve流程和功能论文的主要作者,他表示,“通过查看过去实际的表现,它学习到不同的策略如何影响性能,它可以以更加强硬的方式改进其决策策略。”
根据研究小组的论文,Pensieve可以将视频流量比其他系统多减少10%至30%,用户将其“体验质量”评价为提高了10%至20%。
Mao表示,Pensieve具有足够的灵活性以适应不同的要求。例如,可以对其进行培训,可以以牺牲分辨率为代价保障视频连续播放,或者也可以进行相反的训练,让质量的优先级高于顺畅。
研究团队的下一个项目将是测试Pensieve在流媒体虚拟现实内容中的有效性,它需要高得多的带宽,并且对低质量的容忍度要低得多。
麻省理工学院的教授Mohammad Alizadeh(Mohammad Alizadeh)是Pensieve上这篇论文的一位合著者,他表示:“你需要的4K质量的VR可以轻松地达到每秒数百兆比特的速度,今天的网络根本无法支持”。他表示,“我们很高兴看到像Pensieve这样的系统能够为VR等技术所做的一切。这还只是第一步。”
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。