跳到正文
OpenAI:官网动态·· 7 天前精选AI 评分67

OpenAI 正式发布 Decisions API,面向低延迟低成本小决策

Build more responsive apps with the Decisions API

AI 导读

OpenAI 宣布基于 GPT-6 Luna 的 Decisions API 正式可用,用于分类、路由、评分等有界答案问题,速度最高比通过 Responses API 使用 GPT-6 Luna 快 10x。

推荐理由

官方宣布 Decisions API 正式可用,给出与 GPT-6 Luna 的速度对比、定价和 GPT-Live 集成,便于评估路由分类类场景的收益。

正文 · AI 翻译

用 Decisions API 打造响应更快的应用

为各类应用提供快速、专注、低成本决策。

分享

隆重推出 Decisions API

视频 1

Image 1: Decisions API — Video poster

00:00 05:25

应用和智能体在工作流中会做出许多小决策:如何对输入进行分类、把请求路由到哪里,或者下一步该采取什么操作。单独来看,这些决策都很简单;但规模一大,延迟和成本就会累积起来。

今天,我们正式推出 Decisions API 的通用版本。Decisions API 基于 GPT‑6 Luna 构建,将 Luna 的智能聚焦于答案有界的问题,帮助应用和智能体基于文本、图像和结构化输入做出近乎实时的决策,通过 Responses API 调用时速度比 GPT‑6 Luna 快至多 10 倍。

自公开测试版发布以来,我们新增了原生 GPT‑Live 集成、针对重复使用上下文的提示词缓存,以及在美国和欧盟的推理驻留。开发者还可以传入原生 JSON 输入、在问题指令中包含图像,并且每次请求最多可提出 400 个问题,是此前上限的两倍。我们还持续优化延迟,包括在亚洲多个地区增加容量。

团队如何使用 Decisions API

Decisions 的早期采用情况表明,它适用于多种用例。

在 OpenAI 内部,各团队正将 Decisions API 应用于产品和业务工作流。dots 团队用它来缩短响应时间、提升交互性。我们的个人财务团队用它来对交易描述进行分类;传播团队则用 Decisions 按主题对报道进行分类并打分,判断其是强化还是挑战关键叙事,从而帮助识别哪些内容需要进一步审查。

这些早期案例表明,快速、结构化的决策如何把传入的信息转化为有用的行动,适用于广泛场景。客户对 Decisions API 的应用同样广泛,从准确归因 AI 成本,到让语言学习体验更具互动性。

5 张中的第 1 张

“借助 Box Extract 和 Decisions API,我们对业务文档进行分类,并将其路由到正确的下一步。在我们的评估中,Decisions API 在 30 份保险凭证案例上实现了约 5 倍更快的路由选择,准确率与 Responses API 相同——从而自动化常规工作,并将置信度较低的案例转交审核人员。”

——Biswaroop Palit,Box 产品管理与集成平台副总裁

“Decisions API 帮助我们在执行智能体生成的 [ rshell 命令(在新窗口中打开)] 之前评估其风险,从而自主修复问题。与现有的前沿模型相比,它在准确率相当的情况下,p95 延迟快 40 倍——使 Decisions 能够置于修复操作的关键路径中。”

——AJ Stuyvenberg,Datadog 资深工程师

“与 GPT‑6 Luna 相比,Decisions API 将 AI 成本归因到实际工作的速度提升了 4 倍,成本降低了 30%,且不牺牲准确率。”

——René Sultan,Ramp 研究工程师

“在 Sierra,我们在实时客户对话的部分编排环节中使用 Decisions API 来选择正确的下一步操作。它的 p95 延迟低于 280 毫秒,比我们此前的方案快约 3 倍,每次调用成本低 90%,且客户结果没有下降。”

——Ajeet Grewal,Sierra 工程师

“对语言学习者来说,时机至关重要。在我们的测试中,GPT‑Live 里的 Decisions API 集成把下一步动作的响应时间缩短了 90% 以上,从 1.4 秒降到 0.13 秒,让学习体验的互动性强了很多。”

——Speak 首席技术官 Andrew Hsu

  • Box

  • Datadog

  • Ramp

  • Sierra

  • Speak

  • Box

  • Datadog

  • Ramp

  • Sierra

  • Speak

选择你的应用所需的决策类型

使用 Decisions API 很简单:开发者定义一个问题和允许的答案,再以文本、图片或原生 JSON 提供上下文。API 会返回三种受支持的答案类型之一——概率、选项或评分——应用据此决定接下来做什么。答案类型多样,让 Decisions 能适用于各种用例。

Decisions API 支持三种答案类型:

类型 用途 主要结果
predicate 估计某个条件成立的概率,例如产品是否有可见损伤。 probability:条件成立的概率估计,取值 0 到 1。
choice 从你预定义的选项中选择一个,例如智能体应当继续、重试还是请求澄清。 choice:你提供的某个值。响应中还会包含概率和置信度。
score 按评分标准中的有序等级给输入打分,例如损伤的严重程度。 score:各等级索引按概率加权后的平均值。

用 Decisions API 和 GPT‑Live 打造实时语音体验

借助 GPT‑Live,你可以为语音应用带来自然、富有表现力的对话,流畅的打断处理让交流不中断。Decisions API 现已与 GPT‑Live 原生集成⁠(在新窗口打开),帮助应用在实时对话中快速做出有针对性的决策。客服智能体可以判断该追问澄清、转接请求还是升级问题。虚拟形象可以在用户对它说话时调整面部表情,并根据用户的话眨眨眼或笑一笑,让互动体验更丰富。

下面的示例利用转写更新来选择虚拟形象的表情。把这段配置加到现有 GPT‑Live 会话中的 session.triggers 里。

JSON

1{2 "type": "decisions",3 "event_type": "session.input_transcript.delta",4 "decisions": {5 "questions": [{6 "type": "choice",7 "name": "reaction",8 "instructions": "Choose an appropriate reaction for the avatar based on the user's latest message.",9 "choices": [10 { "value": "neutral" },11 { "value": "happy" },12 { "value": "sad" },13 { "value": "concerned" }14 ]15 }]16 }17}

Live 会发出一个 decision.event;应用读取选中的 reaction,并据此为角色播放动画。进一步了解如何把语音接入 Decisions API。⁠(在新窗口打开)

亲自试试 Decisions 搭配 GPT‑Live

音频 1

麦克风已关闭

Image 2

Image 3

开始会话

开始前麦克风保持关闭

连接中

会话将在 0:00 后结束

会话已结束。想继续聊的话,请重新开始。

开始前麦克风保持关闭

表情面板

点按一张脸即可预览。

Image 4好奇Image 5欣喜Image 6惊讶Image 7沉思Image 8温柔Image 9俏皮Image 10放松

实时决策

看看 Decisions API 如何根据你们双方说的话选择面部表情。

你说的话

说话时留意它的反应。

助手的话

助手回复时留意它的表情。

试着说

我为我的猫排练了试镜。它听到一半就走了。

我有个秘密。再靠近一点。

其实是我妹妹拿到了那个角色。这是她的首场演出!

我对明天很紧张。你能陪我坐一会儿吗?

我刚拿到那个角色!能和我一起庆祝吗?

做个惊讶的表情,然后告诉我你看到了什么。

你能上网查一下下一场流星雨吗?

我为我的猫排练了试镜。它听到一半就走了。

本演示有时间限制。使用即表示你同意 OpenAI 的条款⁠,并确认我们的隐私政策⁠。

构建并评估你的第一个决策

Decisions API 今日正式开放,可通过专用的 Decisions 端点调用 GPT‑6 Luna。当前费率与缓存详情请参阅定价与可用性指南⁠(在新窗口打开)。

先从一个你的应用经常做出的重复性决策入手。明确要回答的问题、可能的答案,以及区分这些答案所需的上下文。用反映真实使用情况的示例进行测试:可以在 Decisions Playground⁠(在新窗口打开)中用自己的文本或图片测试,也可以按照开发者指南⁠(在新窗口打开)发出第一个请求。

Decisions API 每百万输入 token 收费 $0.10,缓存输入每百万 token 收费 $0.01。关于 30 分钟和 12 小时缓存写入,请阅读我们的定价指南。⁠(在新窗口打开)你只需为输入 token 付费,不收取输出 token 费用。美国与欧盟地区提供区域化处理,符合条件的客户还可使用零数据保留⁠(在新窗口打开)。详情请参阅定价与缓存⁠(在新窗口打开)和数据控制⁠(在新窗口打开)。

作者

OpenAI

来源:OpenAI:官网动态 · openai.com