NGINX.COM
Web Server Load Balancing with NGINX Plus

人工智能和机器学习 (AI/ML) 工作负载正在改变企业的运营和创新方式。作为公认的容器编排和管理标准,Kubernetes 是在混合多云环境中支持可扩展的大型语言模型 (LLM) 工作负载和推理模型的首选平台。

在 Kubernetes 中,Ingress controller(Ingress 控制器)在交付和保护容器化应用方面发挥着重要作用。它们部署在 Kubernetes 集群的边缘,集中处理用户与应用之间的通信。

在本文中,我们将探讨 Ingress controller 和 F5 NGINX Kubernetes 互联套件如何帮助简化和优化 AI/ML 工作负载的模型服务、实验、监控及安全防护。

 

在生产环境中大规模部署 AI/ML 模型

在大规模部署 AI/ML 模型时,Kubernetes 的开箱即用特性和功能可帮助您:

  • 加快和简化 AI/ML 应用发布周期。
  • 实现跨不同环境的 AI/ML 工作负载可移植性。
  • 提高计算资源利用效率和经济性。
  • 提供可扩展性并做好生产准备。
  • 优化环境以满足业务服务级别协议 (SLA) 要求。

与此同时,企业在生产环境中对 AI/ML 模型进行大规模服务、实验、监控和保护时可能会面临以下挑战:

  • 复杂性和工具蔓延日益加剧,致使企业很难在本地、云端及边缘配置、运维、管理和自动化 Kubernetes 环境并对其进行故障排除。
  • 由于连接超时和 pod 故障与重启、自动扩展及超高请求率等动态事件所致的错误,导致用户体验不佳
  • 在复杂的 Kubernetes 环境中,由于汇总报告以及缺乏细粒度的实时和历史指标,不仅会出现性能下降和停机问题,还会造成故障排除速度变慢、难度加大。
  • 在混合多云 Kubernetes 环境中面临巨大的网络安全风险 ,因为传统安全防护模型无法保护松散耦合的分布式应用。

F5 NGINX Ingress Controller 等企业级 Ingress controller 可帮助应对这些挑战。借助一套集 Ingress controller、负载均衡器及 API 网关功能于一身的可靠工具,无论在何处运行 Kubernetes,您均可延长正常运行时间、增强保护并实现大规模可视化,而且还能够降低复杂性和运维成本。

NGINX Ingress Controller 还可与行业领先的 F5 七层应用保护技术紧密集成。该技术有助于缓解针对 LLM 应用的 OWASP 十大网络威胁,并保护 AI/ML 工作负载免受 DoS 攻击。

 

面向 AI/ML 工作负载的 Ingress controller 的优势

Ingress controller 可通过以下功能简化生产环境中 AI/ML 工作负载的部署和运行:

  • 模型服务 — 使用 Kubernetes 原生负载均衡、自动扩展、速率限制及动态重新配置特性,无中断地交付应用。
  • 模型实验 — 实施蓝绿部署和灰度部署及 A/B 测试,以便在不停机的情况下部署新版本和升级。
  • 模型监控 — 收集、呈现和分析模型指标,从而更好地了解应用健康状况和性能。
  • 模型安全防护— 配置用户身份、身份验证、授权、基于角色的访问控制及加密功能,以保护应用免受网络安全威胁。

NGINX Kubernetes 互联套件包括 NGINX Ingress ControllerF5 NGINX App Protect,可在运行 AI/ML 应用的 Kubernetes 集群与其用户之间提供快速、可靠和安全的通信——不论是本地还是云端。它有助于简化任何 Kubernetes 环境中的模型服务、实验、监控和安全防护,可增强云提供商和预打包 Kubernetes 产品的功能,提供更出色的大规模安全防护、可用性和可观测性。

 

开始使用 NGINX Kubernetes 互联套件

NGINX 提供了一套全面的工具和构建模块,可充分满足您的需求,帮助您增强 Kubernetes 平台的安全性、可扩展性及可见性。

您可以立即申请 Kubernetes 互联套件的 30 天免费试用版

Hero image
免费白皮书:
NGINX 企阅版全解析

助力企业用户规避开源治理风险,应对开源使用挑战

关于作者

Ilya Krutov

产品营销经理

关于 F5 NGINX

F5, Inc. 是备受欢迎的开源软件 NGINX 背后的商业公司。我们为现代应用的开发和交付提供一整套技术。我们的联合解决方案弥合了 NetOps 和 DevOps 之间的横沟,提供从代码到用户的多云应用服务。访问 nginx-cn.net 了解更多相关信息。