全球领先的开源解决方案提供商红帽公司日前宣布,即将在红帽OpenShift AI上集成支持NVIDIA NIM微服务。这一举措旨在在一致的开源AI/ML混合云平台支持下,为数十种人工智能(AI)模型实现优化推理。企业将能够利用红帽OpenShift AI和NVIDIA NIM(NVIDIA 企业AI 软件平台的一部分,是一套易于使用的推理微服务),加速生成式AI(GenAI)应用的交付,从而更快地实现价值。
红帽 OpenShift AI 对 NVIDIA NIM 的支持,基于红帽行业领先的开放混合云技术,包括 红帽企业Linux和 红帽OpenShift,建立在对 NVIDIA 企业 AI 的现有优化基础之上。作为最新合作的一部分,NVIDIA 将实现 NIM 与 KServe 的互操作性,KServe 是一个基于 Kubernetes 的开源项目,适用于高度可扩展的 AI 用例,同时也是 红帽OpenShift AI 的核心上游贡献者。这将有助于促进 NVIDIA NIM 微服务在红帽 OpenShift AI 未来迭代中的持续互操作性。
这种集成使企业能够利用 GenAI 功能提高生产率,例如利用虚拟助理扩展客户服务、对 IT 单据进行案例汇总,以及利用特定领域的协同机器人加速业务运营。
通过将红帽OpenShift AI 与 NVIDIA NIM 结合使用,企业可以从以下方面获益:
NVIDIA NIM 微服务旨在加速企业的 GenAI 部署。NIM 支持多种 AI 模型,包括开源社区模型、NVIDIA AI 基础模型和自定义模型,通过行业标准的应用编程接口(API),能够在企业内部或云端提供无缝、可扩展的 AI 推断服务。
支持证言
Chris Wright, 红帽CTO兼全球工程高级副总裁
“在与 NVIDIA 的合作中,红帽专注于消除障碍,降低复杂性,从而让企业能快速构建、管理和部署AI应用。红帽 OpenShift AI 为扩展 NIM 微服务的覆盖范围提供了一个可扩展、灵活的基础,通过预构建的容器和行业标准 API 为开发人员赋能,所有这些都由开源创新驱动。”
Justin Boitano,NVIDIA企业产品副总裁
“每个企业开发团队都希望尽可能快速、安全地将他们的生成式人工智能应用投入生产。在红帽 OpenShift AI 中集成 NVIDIA NIM 标志着我们合作的一个新里程碑,因为这将帮助开发人员利用性能优化的基础和嵌入模型,在任何云或数据中心中快速构建和扩展现代企业应用。”
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。