红帽完成收购Neural Magic，加速混合云中生成式AI的优化创新

近日，红帽宣布已完成对Neural Magic的收购。Neural Magic是一家在加速生成式AI（gen AI）推理工作负载的软件与算法领域的先锋企业。

通过此次收购，红帽引入了推理性能优化和模型优化领域的专业能力，进一步推进其愿景，即在混合云的任意位置，根据客户独特需求提供高性能的AI工作负载支持。

支撑当前生成式AI应用的大型语言模型（LLM）虽然具有创新性，但往往成本高昂且资源消耗巨大，大多数组织难以有效利用。

为应对这些挑战，红帽认为，未来AI战略的成功关键在于开发更小、更优化并采用开源许可的模型，通过在计算架构和部署环境中的开放创新来实现。

Neural Magic致力于将优化且高效的AI模型变为现实，这进一步增强了红帽实现AI愿景的能力。

Neural Magic也是vLLM的主要贡献者之一，vLLM是由加州大学伯克利分校开发的一个开源项目，专注于开放模型服务，这将为组织在构建和部署AI工作负载方面提供更多选择和更高的可及性。

借助Neural Magic的技术与性能工程专业知识，红帽致力于破解大规模企业AI面临的挑战，通过开源创新进一步推动AI变革的普及。具体路径包括：

• 开源许可模型：提供从10亿到数千亿参数规模的模型，可灵活运行于混合云的任意环境中——包括企业数据中心、多云部署以及边缘场景。

• 模型微调能力：帮助企业更高效地根据私有数据和特定用例定制大型语言模型（LLM），同时增强安全性。

• 推理性能优化专业知识：显著提升运营效率和基础设施利用率。

• 合作伙伴与开源生态系统支持：从LLM和相关工具，到认证服务器硬件及底层芯片架构，为客户提供更丰富的选择，满足多样化需求。

“选择”这一理念对于今天的生成式AI至关重要，就如同几年前的云原生和容器化应用一样。成功的生成式AI战略依赖于合适的环境（如云、服务器、边缘等）、加速计算能力以及推理服务器。

红帽始终致力于在混合云环境中为客户提供广泛的选择，尤其是在AI领域。收购Neural Magic进一步巩固了我们对这一承诺的支持。

Neural Magic的技术和专业能力将融入红帽AI，打造一个专为生成式AI平台设计的产品组合，秉承混合云架构，红帽AI包括：

• 红帽企业Linux AI (RHEL AI)：基础模型平台，在Linux服务器上无缝开发、测试和运行IBM Granite开源许可LLM家族，支持企业应用。

• 红帽OpenShift AI：AI平台，提供工具快速开发、训练、部署和监控机器学习模型，涵盖本地、公共云及边缘分布式Kubernetes环境。

• InstructLab：由红帽与IBM联合创建的开源AI社区项目，通过协作改进开源许可的Granite LLM，利用InstructLab的微调技术，让任何人都能参与塑造生成式AI的未来。

• vLLM、LLM Compressor、预优化模型等将被整合到红帽AI，让Neural Magic成为红帽AI平台的关键组成部分。