Nvidia 正在更新其 Windows 平台上的 G-Assist AI 助手,将其功能从优化游戏和系统设置扩展到更多应用。G-Assist 上个月作为主要致力于提升 PC 游戏体验的聊天机器人首次推出,而如今它加入了插件支持,让你可以让这个 AI 助手控制 Spotify、检查 Twitch 上某个主播是否正在直播,以及查看股票或天气更新。
全新基于 ChatGPT 的 G-Assist 插件构建器允许开发者和爱好者为 Nvidia 的 AI 助手创建自定义功能。G-Assist 将能够连接到外部工具并使用 API 来扩展目前 Nvidia 提供的功能。
Nvidia 已在 GitHub 上发布了示例插件,供编译后由 G-Assist 使用:
Spotify — 免提音乐播放和音量控制
Google Gemini — 允许 G-Assist 调用 Gemini 进行云端复杂对话
Twitch — 你可以使用此插件通过语音命令检查某位主播是否正在直播,例如命令:“嘿, Twitch, [主播] 正在直播吗?”
外围设备控制 — 调整 Logitech G、Corsair、MSI 和 Nanoleaf 设备的 RGB 灯光或风扇速度
股票查询 — 提供实时股票价格
天气更新 — 提供任意城市的当前天气状况
这些插件全部在本地运行,借助 Nvidia RTX GPU 上的小型语言模型,同时开发者还可以通过 GitHub 分享他们自己定制的插件。G-Assist 使用的本地小型语言模型需要近 10GB 空间来支持其助手功能和语音能力。该 AI 助手适用于多种 RTX 30、40 和 50 系列桌面 GPU,但你需要至少一块拥有 12GB VRAM 的显卡。
如果你有兴趣试用 G-Assist 或构建插件,该应用作为 Nvidia Windows 主应用的一个可选组件提供。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。