你的AI账单失控了。Cloudflare现在可以解决这个问题。

如今，全球没有一位首席信息官不担心 AI 支出。首席财务官们也日益感到焦虑。

由于担心落后，许多公司已推动员工尽可能积极地使用 AI。指令很明确：“快速行动，账单以后再说。”在大多数情况下，这确实奏效了：对于积极投入的团队来说，AI 确实带来了变革性的影响。

但成本是真实存在的：我们听过无数关于巨额账单和模型 token 支出严重超支的恐怖故事。

今天，我们宣布在 Cloudflare AI Gateway 中推出支出控制功能，并启动一项封闭测试，该测试使用 Cloudflare Access 和您现有的身份提供商，实现基于身份的预算和路由管理。

在与数百家公司就其 AI 战略进行交流时，我们发现了一个普遍现象：公司通过一个共享的 API 密钥，让每位工程师都能访问前沿模型。使用量随之激增。到了月底，财务部门拿到账单，却没人能解释钱花在了哪里。是机器学习团队在训练新的流水线？是实习生在用 Claude Opus 处理邮件分类？还是一个失控的持续集成任务在一个周末就消耗了 5000 万个模型 token？没人知道，因为 API 密钥不会告诉你谁使用了它。

如果没有指导原则，员工通常会选择可用的最大模型。他们为什么不呢？如果没有预算限制、没有可见性、也没有路由逻辑，那么对所有任务都使用最强大的模型就是最合理的做法。问题在于，大多数任务并不需要前沿模型。代码审查摘要与复杂的架构重构所需的模型不同。日志解析器与面向客户的内容生成器所需的模型也不同。应该能轻松地为任务选择合适的工具，而不是默认使用最强大、最昂贵的模型。并且，应该能简单地看清支出流向。

如果看不到 AI 支出情况，就无法计算其投资回报率；如果没有控制措施，就无法保护该投资回报率。企业中其他每一项支出都有预算和按团队归属的核算，AI 支出也不应例外。

AI Gateway 是什么

AI Gateway 位于你的应用程序与 AI 提供商之间。你的请求不会直接调用 OpenAI、Anthropic、Google 或任何其他提供商，而是首先通过 AI Gateway 进行路由。

这能立即为你提供几个有用的工具：

统一计费，方便在不同提供商和模型之间切换
跨所有提供商的日志记录——所有请求、模型 token 数量和成本都集中在一处
响应缓存
速率限制
内容护栏，以及在个人信息和机密信息到达模型之前将其拦截的能力

然而，AI Gateway 此前缺乏一种简便的方式来回答谁在花费多少，或者如何对 AI 支出设置限制。

你可以查看账户的总体使用情况。但你无法看到工程部门的 Jane 这个月在 Claude 上花掉了 2000 美元，而整个数据科学团队只用了 400 美元。你也无法设定一个预算，规定“工程部门每月在前沿模型上花费 5000 美元，实习生每月在 Kimi K2.6 上花费 200 美元”。

今天，这一切都改变了。

支出限制：AI 使用预算

AI Gateway 现在将支出限制作为一项核心功能。这是真正的成本控制措施，以美元（而非模型 token）为单位的预算形式存在，追踪所有请求的累计支出，独立于传统的速率限制运行。

你可以将限制范围设定为任意维度的组合：模型、提供商，或管理员定义的自定义属性（如用户、团队或应用程序）。时间窗口可以是固定的（在每月第一天、每周一或午夜重置），也可以是滚动的，并可设置为每日、每周或每月。

AI Gateway 根据模型的定价计算每次请求的成本，并实时追踪相对于你限制的累计支出。你可以通过我们的分析仪表板轻松追踪模型支出，并按模型、提供商或任何自定义属性进行筛选。

当达到预算限制时，你可以选择不同的处理方式。默认情况下，AI Gateway 会阻止后续请求。或者，你也可以通过动态路由设置规则，在达到支出限制后将请求路由到备用模型，这样严格的支出上限就不会影响工程师的工作流程。我们正在努力增加在达到限制时发送警报的功能。

消费限额功能现已面向所有 AI Gateway 用户开放公开测试版，适用于所有套餐。您可以在控制面板的门户设置中或通过 API 进行配置。

我们自己也用这套方案

我们已经在 Cloudflare 内部追踪模型 token 成本。每位 Cloudflare 员工每天都在使用 AI 工具，每月通过 AI Gateway 路由数百万次请求和数十亿个模型 token。在如此规模下，我们面临每家公司都会遇到的同样问题：谁在使用什么资源，以及我们该如何为此做预算？

我们通过让 AI Gateway 为每次请求添加身份标识来解决这个问题。当员工通过 Cloudflare Access 进行身份验证时，我们会从 JSON Web Token（JWT）中提取其身份，并将其作为元数据附加到 AI Gateway 请求上。这样一来，每个用户的模型 token 消耗量、团队级别的使用情况细分以及整个组织的成本归属，都能在一个地方清晰可见。

基于身份的预算与策略（封闭测试版）

除了消费限额，今天我们还将宣布基于身份的预算与策略进入封闭测试阶段。

AI Gateway 中的消费限额允许您按模型、提供商或自定义属性设置预算。但您的应用程序必须传递这些元数据，而 AI Gateway 会信任它收到的所有信息。要实现经过验证的自动归属，您需要身份标识。

当与 Cloudflare Access 结合使用时，AI Gateway 能够识别每次请求的发起者——不仅是哪个账户，还包括哪名员工、哪个身份提供商（IdP）组、哪个服务等。

以下是实际应用中的效果。

您可以设置每个用户的预算，例如个人贡献者每月 500 美元，高级工程师每月 2,000 美元。当用户达到限额时，请求可以降级到更便宜的模型或被阻止。

您可以设置每个团队的模型策略。例如，您的机器学习团队可以使用 Claude Opus 和 GPT-4o。品牌设计团队可以访问生成式图像和视频模型。实习生使用 Workers AI 上的开源模型。这些策略直接映射到您现有的 IdP 组，也就是您已经在管理的同一套身份提供商组。

对于 CI/CD 流水线和自主智能体，Access 服务令牌允许你为每个智能体赋予一个命名身份。你可以看到你的代码审查机器人本周使用了 500 万个模型 token，而你的文档生成器使用了 50 万个。如果某个智能体失控，你可以对其应用预算策略，而不会影响其他智能体。

AI Gateway 的每条日志条目都将包含经过身份验证的身份信息：电子邮件、IdP 组、服务令牌名称。将这些信息导出到你的分析平台，无需构建任何自定义功能，就能获得按用户和团队划分的成本明细。

在底层，你为你的 AI Gateway 端点创建一个 Cloudflare Access 应用程序，并根据你的 IdP 组配置策略。当开发者或智能体发起请求时，他们通过 OAuth 进行身份验证，使用标准的 CLI 设备码流程。AI Gateway 会验证令牌并提取身份信息。你无需编写自定义 Worker、自行解析 JWT，或依赖基于自觉性的元数据标头。

我们最近撰文介绍了如何构建我们的内部 AI 工程栈。这正是我们今天所提供的内容——这样你也可以使用它，而无需自行构建。

如果你想参与封闭测试，请在此处注册。

下一步：从成本控制到成本优化

设定预算很有必要。但一旦有了预算，你该如何充分利用它呢？

现实情况是，并非每个请求都需要前沿模型：摘要任务可以在更小、更便宜的模型上运行，而不会造成明显的质量损失，而大规模代码重构则可能需要最先进的模型。但如果没有控制措施，人们几乎总是会选择最先进的模型。

针对这一问题的解决方案即将推出：我们正在 AI Gateway 中构建智能的、基于任务的路由功能。对于每个请求，我们可以进行分析并自动将其路由到能够以最低成本为你提供最佳结果的模型。该功能正在积极开发中，请关注我们的开发者文档和更新日志。

开始使用 AI Gateway 是免费的。所有用户现在都可以使用消费限额功能。

如果你还没有创建网关，请先创建一个，并将你的应用程序指向它。然后，通过仪表盘或 API 设置支出限额。建议先在监控模式下设置一个较高的限额，以了解你当前的使用模式，然后再开始强制执行。

如果你需要按用户归属和基于团队的策略，请注册身份驱动预算的内测版，我们将为你配置 Access 集成。

我们想听听你目前是如何管理 AI 成本的。欢迎加入 Cloudflare 社区的讨论，或联系我们探讨更广泛的 AI 安全策略。