至顶网软件与服务频道消息:IBM已经与麻省理工学院的研究人员合作开发了一种新方法,可以更有效地训练“视频识别”深度学习模型。
深度学习是机器学习的一个分支,旨在复制人脑解决问题的方式,已经在语言翻译、图像和语音识别等领域引发了重大颠覆。
视频识别类似于图像分类,深度学习模型会尝试识别视频中的一切,包括所看到的对象和人物,他们在做什么等等。两者之间的主要区别在于,视频相比简单的静态图像具有更多的运动部分,因此训练深度学习模型来理解视频内容要花费更多的时间和精力。
麻省理工学院在今天的一篇博客文章中解释说:“据估计,训练视频识别模型所需要的数据比训练图像分类模型最多可多出50倍,处理能力则是其8倍。”
当然,没有人喜欢为这种任务投入大量的计算资源,因为成本是极高的。此外,这种任务对资源的要求,使其几乎无法在低功率移动设备上运行视频识别模型。
这些问题促使麻省理工学院电气工程与计算机科学系助理教授Song Han领导的研究团队提出了一种更为有效的视频识别训练模型,这项新技术极大地减少了视频识别模型的大小,从而缩短了训练时间并提高了移动设备的性能。
“我们的目标是让使用低功耗设备的任何人都可以使用AI。要做到这一点,我们就需要设计出一种高效的AI模型,这种模型能耗低,且可以在边缘设备上平稳运行。”
图像分类模型通过在图像像素中查找图案来建立工作模式,以构建它们看到的内容呈现。在有足够示例的情况下,该模型可以学习识别人、物体及其之间的关联方式。
视频识别的方式类似,但是深度学习模型更进了一步,使用“三维卷积”在一系列图像(视频帧)编码时间,从而使得模型更大、计算更密集。为了减少计算量,Han和他的同事设计出了一种“时间偏移模块”,该模块将选定视频帧的特征映像移动到相邻的帧,通过混合过去、现在和未来的空间呈现,模型无需明确呈现即可实现时间流逝感。
这项新技术让基于Something-Something视频数据集(一系列密集标记的视频剪辑集合,呈现了人类对日常事务执行所预设的基本动作)的模型训练速度比现有模型快了3倍。
该模型甚至可以实时理解人们的动作,并且能耗很低,例如该模型让摄像头上安装的单板计算机立即对手势进行分类,能耗相当于自行车灯的电量。
Constellation Research首席分析师、副总裁Holger Mueller表示,机器学习仍处于发展早期阶段,采用这种创新方法所能获得的收益也是如此。“今天MIT和IBM合作加速视频识别技术的发展,而这正是目前难度最大的机器学习任务之一。”
IBM和MIT表示,这种新的视频识别模型可以在运用于各个领域,例如可以加快在YouTube或类似服务上分类视频的速度,还可以使医院在本地而不是在云中运行AI应用,从而使机密数据更安全。
好文章,需要你的鼓励
Liquid AI发布了新一代视觉语言基础模型LFM2-VL,专为智能手机、笔记本电脑和嵌入式系统等设备高效部署而设计。该模型基于独特的LIV系统架构,GPU推理速度比同类模型快2倍,同时保持竞争性能。提供450M和1.6B两个版本,支持512×512原生分辨率图像处理,采用模块化架构结合语言模型和视觉编码器。模型已在Hugging Face平台开源发布。
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
阿里团队推出首个AI物理推理综合测试平台DeepPHY,通过六个物理环境全面评估视觉语言模型的物理推理能力。研究发现即使最先进的AI模型在物理预测和控制方面仍远落后于人类,揭示了描述性知识与程序性控制间的根本脱节,为AI技术发展指明了重要方向。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。