Kubernetes 变得简单？微软将人工智能工具链运营商添加到Azure服务中

Kubernetes Al 工具链操作符简化了机器学习和人工智能工作负载的运行，并将为您节省启动资金。

如果您想大规模运行人工智能 (AI) 和机器学习应用程序，例如大型语言模型 (LLM)，则必须在 Kubernetes 上运行它们。然而，掌握 Kubernetes——每个人最喜欢的容器编排器——并不容易。这就是 Kubernetes Al 工具链操作符——微软 Azure Kubernetes 服务 (AKS) 的最新成员——发挥作用。

AKS 已经使 Azure 上的 Kubernetes 变得更加容易。 AKS 的内置代码到云管道和护栏为你提供了一种更快的方式来开始在 Azure 中开发和部署云原生应用程序，而不是手动解决。凭借对本地、边缘和多云 Kubernetes 集群的统一管理和治理，AKS 还使与 Azure 安全、身份、成本管理的集成变得更加简单（对于 Kubernetes 而言，没有“简单”之说）和迁移服务。

Kubernetes AI 工具链操作员带来的是经济高效地运行开源软件 AI/ML 工作负载的自动化方法，并且需要更少的手动配置。它还通过为您的 LLM 或其他项目选择最佳规模的基础设施，跨可用的 CPU 和 GPU 资源在 AKS 上自动部署 LLM 模型。

AI 工具链操作员通过自动配置必要的 GPU 节点并将关联的推理服务器设置为 AI 模型的端点服务器来实现此目的。推理服务器（例如 Hugging Face 的 7B 或 NVIDIA Triton 推理服务器）将经过训练的 AI 模型应用于传入数据以做出实时决策。推理是通过训练有素的人工智能模型运行实时数据以进行预测或解决任务的过程。使用此附加组件可以减少您的入门时间，并使您能够专注于 AI 模型的使用和开发，而不是基础设施设置。

它还可以轻松地将推理分割到多个 GPU 数量较少的虚拟机 (VM)。这意味着您可以在更多 Azure 区域上运行 LLM，从而消除具有更高 GPU 数量虚拟机的 Azure 区域的等待时间，并降低总体成本。换句话说，您可以在功耗较低、成本较低的地区自动运行您的法学硕士。是的，您可能会失去处理能力，但并非所有工作都需要更高的马力。

为了使设置更容易，您还可以从带有 AKS 托管图像的预设模型中进行选择。这显着减少了您的整体服务设置时间。一旦启动并运行了一段时间，您就可以调整 Azure 模型以更好地适应您的工作负载。

此外，Azure Kubernetes Fleet Manager 为 AKS 群集启用多群集和大规模场景。管理具有多个集群的 Kubernetes 队列的平台管理员经常面临以安全且可预测的方式进行更新的挑战。这允许管理员通过使用更新运行、阶段和组来协调多个集群之间的更新。由于 AI/ML 工作负载往往要求非常高，这使得管理它们变得更加容易。

简而言之，如果您想在 Azure 上认真使用 AI/ML，那么 Kubernetes Al 工具链操作员需要您的关注。