市场上有很多生成式AI平台的选择,为什么要选择红帽?
红帽总裁兼CEO Matt Hicks直言红帽的不同之处在于运行位置的核心灵活性。企业既可以对小型开源模型进行混合部署,也可以在公有云或自有数据中心训练模型,同时支持主要的GPU供应商。
最近在Red Hat Summit上,红帽发布了一系列与人工智能相关的内容,包括Linux AI(RHEL AI)和OpenShift AI的最新进展。
Matt Hicks表示,RHEL用于运行所有可以在Linux上运行的应用程序,RHEL AI则用于运行你可以通过训练和定制的大型语言模型的AI部分。OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序,OpenShift AI则以相同的方式管理一系列模型,高效地分割训练、使用和提供服务。
红帽总裁兼CEO Matt Hicks
Linux AI(RHEL AI)开源AI的创新
RHEL AI是一个基础模型平台,能够使用户更加便捷地开发、测试和部署生成式人工智能(GenAI)模型。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。
在意识到IBM研究院开发的大规模对话机器人对齐(LAB)技术能显著提升模型性能后,IBM和红帽决定推出InstructLab,这是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程,像参与任何其他开源项目一样,将LLM开发的权力交到开发者手中。
RHEL AI融合了企业级就绪的InstructLab项目和Granite语言与代码模型,及全球领先的企业级Linux平台,简化了混合基础设施环境中的部署。RHEL AI包括:
“RHEL AI的主要目标是利用硬件加速,进行模型的训练和运行。”Matt Hicks说,RHEL AI更专注于为大型语言模型创建业务安全、管理生命周期和提供可预测性,并使企业能够对其进行修改。
OpenShift AI增强预测性和生成式AI的灵活性
红帽OpenShift AI是基于红帽OpenShift构建的开放式混合人工智能(AI)和机器学习(ML)平台,帮助企业在混合云环境中大规模创建并交付人工智能支持的应用。
红帽OpenShift AI引入了新的增强功能,包括获取最新的AI/ML创新和以人工智能为中心的庞大合作伙伴生态系统的支持。最新版本红帽OpenShift AI 2.9,提供了边缘模型服务、增强型模型服务、采用Ray支持分布式工作负载、改进模型开发、模型监控和可视化、新的加速器配置文件。
在Matt Hicks看来,构建一个坚实的混合云基础对企业AI至关重要。许多企业尝试使用规模较小的模型进行微调和训练,但往往成效不佳。所以他们会转向“全知模型”——通常在公共云中运行的模型,参数量超过一万亿,这些模型虽然是开箱即用,但运行和训练成本相当之高。
无论是在笔记本、边缘还是任何地方,混合云对云充分发挥AI的潜力都是关键。企业必须改进这些小型模型,使其更好地适应实际任务,这就需要在特定用例上完成最后一段训练。
Red Hat Summit上红帽展示了在开放混合云中赋能人工智能战略,支持人工智能工作负载在数据所在的地方运行,无论是在数据中心、多个公有云或边缘。红帽的平台为这些工作负载提供跨环境的一致性,无论它们在何处运行,都可以顺利推进企业的人工智能创新。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。