中国最大的科技公司之一的百度的人工智能研究人员试图在一个二维迷宫般的世界中教会虚拟机器人英语。
这项研究“为家庭机器人的设想铺平了道路”,一位可以理解其主人发出的命令的聪明管家。该公司的研究人员在arXiv上发布的一篇论文中称,语言对于创建具有人类水平智能的机器至关重要。
根据机器人对自己世界的感知教授语言的做法让它们了解了关于环境的知识,这些知识可以从任务转移到任务——这是一般智能的标志。研究人员们将他们使用的方法类比为父母使用语言教导正在学习走路和说话的婴儿。
在这个被称为XWORLD的模拟2D世界中,代理是婴儿,老师是父母。婴儿代理将环境视为一系列原始像素图像,并由教师给出英文的命令。
该论文表示,“通过探索环境,代理可以同时学习环境的视觉表示、语言的语法和语义,以及如何在环境中自我导航。”
该机器人可以采取四个动作:向上、向下、向左或向右移动。在进程开始时,教师发出自然语言命令,例如“请导航到苹果”。然后启动计时器,代理必须在给定时间内移动到苹果处才能获得正向的奖励。如果没有做到,则会给予负面的反馈。
这可不像看起来一样简单,因为其他水果,例如香蕉、橙子和葡萄也会被添加来以混淆机器人。要想成功,它必须通过在训练期间数以千计的会话进行试错学会每种不同类型水果的单词。
虚拟代理从命令中的单词中找出需要采取的正确动作。
它将这项任务分为四个部分:
例如,假设代理处在香蕉的南部和苹果的东部。如果问“香蕉在哪里?”正确的答案是“在北边”。它必须使用语言模块理解指令,使用其视觉感知模块了解自身与香蕉之间的空间关系,使用识别模块分辨苹果和香蕉的不同,然后使用操作模块回答问题。
虽然机器人在执行导航和识别任务方面平均达到了90%的准确度,可是XWORLD只是一个简单的环境。老师只使用一个很小的、包含104个词汇的词汇表,包括九个地点,四种颜色和四十个不同的对象类。它可以说共十六种类型的句子,四种导航命令和十二种类型的识别类。老师讲的句子长度可以从2到12个字,而机器人只能回答单个的单词。
俞浩南(音译)——这篇论文的合著者之一,同事也是百度的研究科学家——对《The Register》表示,要创造一个功能晚辈的机器人仆人还面临着其他一些挑战。
百度研究专家——俞浩南(音译)
“与两维世界相比,三维世界需要更复杂的视觉感知模块,因为相同的对象从不同的角度看起来可能完全不同。能够在任何情况下可靠地探测对象对于将其连接到相应的语言概念来说至关重要。”
“而且,在三维世界中,代理的视角是局部的:它不能总是观察到整个世界。这需要代理具备一定的存储机制来存储过去的视觉信息,以便它进行导航。”
但是百度希望有一天可以开发视觉和语言组件来创建家庭机器人。
“想像未来,智能机器人从工厂运送到家庭,无需预先编程来执行特定任务。对于不知道如何进行编程的普通人来说,自然语言是训练家庭机器人最自然的方式。”
Hu总结道,“不同的家庭可能对于机器人有不同的特殊需求。例如,有些人需要机器人来煮咖啡。所以他们可以通过给机器人一个类似‘你可以用一匙糖和两汤匙牛奶来给我煮一杯咖啡吗?’这样的指令训练它。因为每个家庭都是使用自然语言并且以独特的方式训练自己的机器人的,所以最终他们会得到一个独特的机器人。”
好文章,需要你的鼓励
Liquid AI发布了新一代视觉语言基础模型LFM2-VL,专为智能手机、笔记本电脑和嵌入式系统等设备高效部署而设计。该模型基于独特的LIV系统架构,GPU推理速度比同类模型快2倍,同时保持竞争性能。提供450M和1.6B两个版本,支持512×512原生分辨率图像处理,采用模块化架构结合语言模型和视觉编码器。模型已在Hugging Face平台开源发布。
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
阿里团队推出首个AI物理推理综合测试平台DeepPHY,通过六个物理环境全面评估视觉语言模型的物理推理能力。研究发现即使最先进的AI模型在物理预测和控制方面仍远落后于人类,揭示了描述性知识与程序性控制间的根本脱节,为AI技术发展指明了重要方向。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。