使用 Ingress controller 扩展、保护并监控 Kubernetes 中的 AI/ML 工作负载

人工智能和机器学习 (AI/ML) 工作负载正在改变企业的运营和创新方式。作为公认的容器编排和管理标准，Kubernetes 是在混合多云环境中支持可扩展的大型语言模型 (LLM) 工作负载和推理模型的首选平台。

在 Kubernetes 中，Ingress controller（Ingress 控制器）在交付和保护容器化应用方面发挥着重要作用。它们部署在 Kubernetes 集群的边缘，集中处理用户与应用之间的通信。

在本文中，我们将探讨 Ingress controller 和 F5 NGINX Kubernetes 互联套件如何帮助简化和优化 AI/ML 工作负载的模型服务、实验、监控及安全防护。

在生产环境中大规模部署 AI/ML 模型

在大规模部署 AI/ML 模型时，Kubernetes 的开箱即用特性和功能可帮助您：

• 加快和简化 AI/ML 应用发布周期。
• 实现跨不同环境的 AI/ML 工作负载可移植性。
• 提高计算资源利用效率和经济性。
• 提供可扩展性并做好生产准备。
• 优化环境以满足业务服务级别协议 (SLA) 要求。

与此同时，企业在生产环境中对 AI/ML 模型进行大规模服务、实验、监控和保护时可能会面临以下挑战：

• 复杂性和工具蔓延日益加剧，致使企业很难在本地、云端及边缘配置、运维、管理和自动化 Kubernetes 环境并对其进行故障排除。
• 由于连接超时和 pod 故障与重启、自动扩展及超高请求率等动态事件所致的错误，导致用户体验不佳。
• 在复杂的 Kubernetes 环境中，由于汇总报告以及缺乏细粒度的实时和历史指标，不仅会出现性能下降和停机问题，还会造成故障排除速度变慢、难度加大。
• 在混合多云 Kubernetes 环境中面临巨大的网络安全风险 ，因为传统安全防护模型无法保护松散耦合的分布式应用。

F5 NGINX Ingress Controller 等企业级 Ingress controller 可帮助应对这些挑战。借助一套集 Ingress controller、负载均衡器及 API 网关功能于一身的可靠工具，无论在何处运行 Kubernetes，您均可延长正常运行时间、增强保护并实现大规模可视化，而且还能够降低复杂性和运维成本。

NGINX Ingress Controller 还可与行业领先的 F5 七层应用保护技术紧密集成。该技术有助于缓解针对 LLM 应用的 OWASP 十大网络威胁，并保护 AI/ML 工作负载免受 DoS 攻击。

面向 AI/ML 工作负载的 Ingress controller 的优势

Ingress controller 可通过以下功能简化生产环境中 AI/ML 工作负载的部署和运行：

• 模型服务 — 使用 Kubernetes 原生负载均衡、自动扩展、速率限制及动态重新配置特性，无中断地交付应用。
• 模型实验 — 实施蓝绿部署和灰度部署及 A/B 测试，以便在不停机的情况下部署新版本和升级。
• 模型监控 — 收集、呈现和分析模型指标，从而更好地了解应用健康状况和性能。
• 模型安全防护— 配置用户身份、身份验证、授权、基于角色的访问控制及加密功能，以保护应用免受网络安全威胁。

NGINX Kubernetes 互联套件包括 NGINX Ingress Controller 和 F5 NGINX App Protect，可在运行 AI/ML 应用的 Kubernetes 集群与其用户之间提供快速、可靠和安全的通信——不论是本地还是云端。它有助于简化任何 Kubernetes 环境中的模型服务、实验、监控和安全防护，可增强云提供商和预打包 Kubernetes 产品的功能，提供更出色的大规模安全防护、可用性和可观测性。

开始使用 NGINX Kubernetes 互联套件

NGINX 提供了一套全面的工具和构建模块，可充分满足您的需求，帮助您增强 Kubernetes 平台的安全性、可扩展性及可见性。

您可以立即申请 Kubernetes 互联套件的 30 天免费试用版。