宣布成立 AI 网关工作组

借由 Keith Mattix, Nir Rozenbaum, Morgan Foster, Flynn | 译者 Xin Li |

Kubernetes 社区包含多个特别兴趣小组（SIG）和工作组（WG）， 旨在促进相关贡献者之间就重要议题展开讨论。 今天，我们很高兴地宣布成立 AI 网关工作组， 这是一项专注于为 Kubernetes 环境中支持 AI 工作负载的网络基础设施制定标准和最佳实践的新举措。

什么是 AI 网关？

在 Kubernetes 环境中，AI 网关指的是网络网关基础设施（包括代理服务器、负载均衡器等）， 它通常实现 Gateway API 规范，并针对 AI 工作负载提供增强功能。 AI 网关并非定义一个独立的产品类别，而是描述旨在对 AI 流量实施策略的基础设施，包括：

  • 基于 token 的 AI API 速率限制。
  • 推理 API 的细粒度访问控制。
  • 有效负载检查，实现智能路由、缓存和防护机制。
  • 支持 AI 特有的协议和路由模式。

工作组章程和使命

AI 网关工作组遵循清晰的章程运作， 其使命是为 Kubernetes 特别兴趣小组（SIG）及其子项目制定提案。 其主要目标包括：

  • 标准制定：为 Kubernetes 中的 AI 工作负载网络创建声明式 API、标准和指南。
  • 社区协作：促进讨论并就 AI 基础设施的最佳实践达成共识。
  • 可扩展架构：确保 AI 专用网关扩展的可组合性、可插拔性和有序处理。
  • 基于标准的方法：基于已建立的网络基础，在成熟的标准之上构建 AI 专用功能。

活跃提案

AI 网关工作组目前有多个活跃提案， 旨在解决 AI 工作负载网络领域的关键挑战：

有效载荷处理

有效载荷处理提案 旨在满足 AI 工作负载检查和转换完整 HTTP 请求和响应有效载荷的关键需求。

这可以实现：

AI 推理安全

  • 防御恶意提示和提示注入攻击。
  • 对 AI 响应进行内容过滤。
  • 对 AI 流量进行基于特征的检测和异常检测。

AI 推理优化

  • 基于请求内容的语义路由。
  • 智能缓存，以降低推理成本并缩短响应时间。
  • 集成 RAG 系统，以增强上下文信息。

该提案定义了声明式有效载荷处理器配置、有序处理流水线和可配置故障模式的标准 —— 所有这些对于生产级 AI 工作负载部署都至关重要。

出口网关

现代 AI 应用越来越依赖外部推理服务，无论是用于构建专用模型、实现故障转移，还是优化成本。

出口网关提案 旨在定义将流量安全地路由到集群外部的标准。 主要特性包括：

外部 AI 服务集成

  • 安全访问云端 AI 服务（OpenAI、Vertex AI、Bedrock 等）。
  • 为第三方 AI API 提供托管身份验证和令牌注入。
  • 具备区域合规性和故障转移功能。

高级流量管理

  • 为外部 FQDN 和服务定义后端资源。
  • TLS 策略管理和证书颁发机构控制。
  • 为集中式 AI 基础设施提供跨集群路由。

我们正在解决的用户场景

  • 提供外部 AI 服务托管访问的平台运营商。
  • 需要跨多个云提供商进行推理故障转移的开发人员。
  • 执行 AI 流量区域限制的合规工程师。
  • 将 AI 工作负载集中部署在专用集群上的组织。

即将举行的活动

KubeCon + CloudNativeCon Europe 2026，阿姆斯特丹

AI 网关工作组成员将在阿姆斯特丹举行的 KubeCon + CloudNativeCon Europe 上发表演讲，探讨人工智能与网络交叉领域的问题，包括工作组正在推进的提案，以及 AI 网关与模型上下文协议（MCP）和代理网络模式的交叉应用。 本次会议将展示 AI 网关工作组的提案如何为下一代 AI 部署和通信模式构建所需的基础设施。 会议还将介绍工作组路线图的初始设计、早期原型和新兴方向。 更多详情，请点击此处查看我们的会议：

参与其中

AI 网关工作组代表 Kubernetes 社区致力于 AI 工作负载网络标准化。随着 AI 日益融入现代应用，我们需要强大且标准化的基础设施，以满足推理工作负载的独特需求， 同时保持 Kubernetes 用户所期望的安全性、可观测性和可靠性标准。

我们的提案目前正在积极开发中，并已开始在各个网关项目中实施。 我们正与 SIG Network 紧密合作，增强网关 API，并与更广泛的云原生社区协作， 以确保我们的标准能够满足实际生产需求。

无论您是网关实现者、平台运维人员、AI 应用开发者，还是仅仅对 Kubernetes 和 AI 的交叉领域感兴趣，我们都欢迎您的参与。 工作组采用开放贡献模式——您可以查看我们的提案、参加每周例会，或在我们的 GitHub 代码库上发起讨论。

了解更多信息：

  • 访问工作组的 GitHub 代码库。
  • 阅读工作组的章程。
  • 参加每周四下午 2 点（美国东部时间）的每周例会。
  • 加入工作组的 Slack 频道（#wg-ai-gateway）（访问 https://slack.k8s.io/ 获取邀请）。
  • 加入 AI Gateway 邮件列表（https://groups.google.com/a/kubernetes.io/g/wg-ai-gateway）。

Kubernetes 中 AI 基础设施的未来正在构建中，加入我们，了解如何贡献力量，帮助塑造 Kubernetes 中 AI 感知网关功能的未来。