看红帽如何在RHEL与OpenShift中玩转生成式AI

红帽的不同之处在于运行位置的核心灵活性，企业既可以对小型开源模型进行混合部署，也可以在公有云或自有数据中心训练模型，同时支持主要的GPU供应商。

市场上有很多生成式AI平台的选择，为什么要选择红帽?

红帽总裁兼CEO Matt
Hicks直言红帽的不同之处在于运行位置的核心灵活性。企业既可以对小型开源模型进行混合部署，也可以在公有云或自有数据中心训练模型，同时支持主要的GPU供应商。

最近在Red Hat Summit上，红帽发布了一系列与人工智能相关的内容，包括Linux AI(RHEL AI)和OpenShift
AI的最新进展。

Matt Hicks表示，RHEL用于运行所有可以在Linux上运行的应用程序，RHEL
AI则用于运行你可以通过训练和定制的大型语言模型的AI部分。OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序，OpenShift
AI则以相同的方式管理一系列模型，高效地分割训练、使用和提供服务。

红帽总裁兼CEO Matt Hicks

Linux AI(RHEL AI)开源AI的创新

RHEL
AI是一个基础模型平台，能够使用户更加便捷地开发、测试和部署生成式人工智能(GenAI)模型。该解决方案被封装成一个优化的、可启动的RHEL镜像，用于在混合云环境中部署单个服务器，并已集成到OpenShift
AI中。

在意识到IBM研究院开发的大规模对话机器人对齐(LAB)技术能显著提升模型性能后，IBM和红帽决定推出InstructLab，这是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程，像参与任何其他开源项目一样，将LLM开发的权力交到开发者手中。

RHEL
AI融合了企业级就绪的InstructLab项目和Granite语言与代码模型，及全球领先的企业级Linux平台，简化了混合基础设施环境中的部署。RHEL
AI包括：

• 红帽支持和保障的开源许可Granite语言和代码模型;
• 提供支持并具有生命周期管理的InstructLab分发版本，这是一种可扩展且成本效益高的解决方案，能够增强大型语言模型(LLM)的功能，并使知识与技能的贡献得到更广泛的用户接纳;
• 通过RHEL镜像方式提供的优化可启动模型运行实例，包括Granite模型和InstructLab工具包，及优化的Pytorch运行时库和针对AMD
  Instinct™ MI300X、Intel和NVIDIA GPU以及NeMo框架的加速器;
• 红帽提供的完整企业支持和生命周期保证，从可信的企业产品分发开始，提供24小时全天候生产支持和扩展的生命周期支持。

“RHEL AI的主要目标是利用硬件加速，进行模型的训练和运行。”Matt Hicks说，RHEL
AI更专注于为大型语言模型创建业务安全、管理生命周期和提供可预测性，并使企业能够对其进行修改。

OpenShift AI增强预测性和生成式AI的灵活性

红帽OpenShift
AI是基于红帽OpenShift构建的开放式混合人工智能(AI)和机器学习(ML)平台，帮助企业在混合云环境中大规模创建并交付人工智能支持的应用。

红帽OpenShift AI引入了新的增强功能，包括获取最新的AI/ML创新和以人工智能为中心的庞大合作伙伴生态系统的支持。最新版本红帽OpenShift
AI 2.9，提供了边缘模型服务、增强型模型服务、采用Ray支持分布式工作负载、改进模型开发、模型监控和可视化、新的加速器配置文件。

在Matt
Hicks看来，构建一个坚实的混合云基础对企业AI至关重要。许多企业尝试使用规模较小的模型进行微调和训练，但往往成效不佳。所以他们会转向“全知模型”——通常在公共云中运行的模型，参数量超过一万亿，这些模型虽然是开箱即用，但运行和训练成本相当之高。

无论是在笔记本、边缘还是任何地方，混合云对云充分发挥AI的潜力都是关键。企业必须改进这些小型模型，使其更好地适应实际任务，这就需要在特定用例上完成最后一段训练。

Red Hat
Summit上红帽展示了在开放混合云中赋能人工智能战略，支持人工智能工作负载在数据所在的地方运行，无论是在数据中心、多个公有云或边缘。红帽的平台为这些工作负载提供跨环境的一致性，无论它们在何处运行，都可以顺利推进企业的人工智能创新。