近日,大规模视频分类比赛ACM MM LSVC公布了本年度最佳成绩,阿里巴巴iDST团队凭借平均准确率87.41%夺得冠军。
ACM MM是全球顶级的机器视觉会议,LSVC作为ACM MM的重要一部分,全称为Large-Scale Video Classification Challenge,主要考验参赛队伍在大规模视频分类算法方面的能力。
比赛数据集包含了来自Youtube的大约16万的视频,一共8000个小时。需要参赛队伍对视频中的500类内容做出识别,包含社会事件(如:橄榄球比赛)、物体(如:熊猫)、场景(如海滩)、动作(如:制作蛋糕)。
视频分类算法涉及到非常多的技术,包括视频帧特征提取(frame feature extraction)、视频帧特征集成(frame feature aggregation)、多模态的视频信息提取(视频画面、语音、物体运动、场景等模态)等方面。
iDST官网上的“视频标签预测”DEMO
阿里巴巴iDST团队采用了inception-resnet-v2 和 Squeeze-and-Excitation Networks 对视频帧特征进行提取,并且采用NetVLAD对提取到的视频帧特征进行集成。结合多模态信息的融合之后,单模型在验证集上的平均准确率达到了84.85%,融合多模型达到87.41%。
此外,大规模的视频处理能力也是比赛考验的重要方面。阿里巴巴iDST拥有一个强大的视频分析平台,可处理来自优酷土豆的百万量级的视频。这为高效地对LSVC数据集提取特征进行实验提供了帮助。
据阿里巴巴iDST视频算法高级专家刘扬介绍,这些视频分析算法目前已应用在包括优酷、土豆、UC、闲鱼等在内的多个业务中,有效改善了用户在视频搜索、推荐、编辑等方面的体验。“我们正在将这样的能力集成到阿里云ET上对外服务”。
作为阿里巴巴对外技术输出的窗口,阿里云目前提供了从计算能力、开发框架、基础AI能力到行业全局智能在内的整套服务。
iDST全称Institute of Data Science & Technologies,是阿里巴巴内部的尖端研究机构,专注于AI领域的前沿性研究。由金榕、任小枫、华先胜、司罗等知名科学家领导。在ACM MM中,阿里巴巴亦有三篇论文入选。
好文章,需要你的鼓励
在我们的日常生活中,睡眠的重要性不言而喻。一个晚上没睡好,第二天的工作效率就会大打折扣,而充足的睡眠不仅能让我们恢复精力,还能帮助大脑整理和巩固当天学到的知识。有趣的是,AI模型竟然也表现出了类似的“睡眠需求”。
DeepSeek-AI团队通过创新的软硬件协同设计,仅用2048张GPU训练出性能卓越的DeepSeek-V3大语言模型,挑战了AI训练需要海量资源的传统观念。该研究采用多头潜在注意力、专家混合架构、FP8低精度训练等技术,大幅提升内存效率和计算性能,为AI技术的民主化和可持续发展提供了新思路。
尽管模型上下文协议(MCP)自11月推出以来用户数量快速增长,但金融机构等监管行业仍保持谨慎态度。银行等金融服务公司虽然在机器学习和算法方面是先驱,但对于MCP和Agent2Agent(A2A)系统的采用较为保守。监管企业通常只使用内部代理,因为其API集成需要经过多年审查以确保合规性和安全性。专家指出,MCP缺乏基本构建块,特别是在互操作性、通信标准、身份验证和审计跟踪方面。金融机构需要确保代理能够进行"了解您的客户"验证,并具备可验证的身份识别能力。
加拿大女王大学研究团队首次系统评估了大型视频语言模型的因果推理能力,发现即使最先进的AI在理解视频中事件因果关系方面表现极差,大多数模型准确率甚至低于随机猜测。研究创建了全球首个视频因果推理基准VCRBench,并提出了识别-推理分解法(RRD),通过任务分解显著提升了AI性能,最高改善幅度达25.2%。