Sierra 如何打造低延迟语音 AI 智能体
Sierra 通过优化语音到语音管道的每个阶段来降低延迟,使语音 AI 智能体听起来更自然而非机械。其工程方法涵盖从语音识别到生成的全链路延迟压缩,但具体技术细节和量化指标未在原文中披露。
Sierra 通过优化语音到语音管道的每个阶段来降低延迟,使语音 AI 智能体听起来更自然而非机械。其工程方法涵盖从语音识别到生成的全链路延迟压缩,但具体技术细节和量化指标未在原文中披露。
研究团队发布网络安全基准测试CyberGym,涵盖1,507个真实漏洞,规模达现有基准7.5倍。测试显示顶级AI Agent单次攻击成功率约30%,30次尝试可达67%,且已自主发现35个零日漏洞及17个补丁缺陷。Claude-Sonnet-4.5单次成功率28.9%,Claude-Sonnet-4达17.9%。测试时扩展策略可将GPT-5成功率从7.7%提升至22%,不同Agent能力互补,联合成功率近翻倍。
Anthropic 发布开源自动审计框架 Petri(Parallel Exploration Tool for Risky Interactions),用 AI 审计智能体在多轮场景中测试目标模型,工具地址为 github.com/safety-research/petri。
推荐理由:Anthropic 开源了用 AI 智能体自动审计目标模型行为的 Petri 框架,读者可以直接复用其审计流程和评分维度设计。
ElevenLabs 为其 agents 平台推出 Agent Workflows,一个用于设计对话流程的可视化编辑器,可将任务路由到专门的 Subagents 并在需要时转接人工。
OpenAI Developers 发布了一个名为 ChatKit starter app 的 GitHub 项目,旨在演示如何使用 ChatKit(作为 AgentKit 的一部分)在开发者自己的应用程序中轻松构建智能体。
OpenAI 发布新工具帮助开发者更快从原型走向生产,包括 AgentKit、扩展的 evals 能力,以及面向智能体的强化微调(RFT)。
推荐理由:OpenAI 官方一次性推出面向开发者全流程的工具组合,可据此了解其智能体开发的最新方向。
OpenAI Developers 在 GitHub 上发布了名为“ChatKit advanced samples”的代码库。该资料展示了 ChatKit(作为 AgentKit 的一部分)的高级使用场景,重点演示了针对不同用例的自定义 ChatKit 服务器集成方法。
Sierra 发布 Agent Traces 功能,为开发者提供 AI 智能体决策过程的逐步视图,使其不仅能了解发生了什么,还能理解背后的原因。该工具旨在帮助构建者快速定位并修复问题,提升智能体应用的调试效率。
OpenRouter 向每位客户每月提供100万次“Bring Your Own Key”(BYOK)请求,完全免费。
推荐理由:这个公告虽然旧了,但 OpenRouter 的 BYOK 免费额度至今仍在,对想低成本折腾模型的个人开发者来说,每月 100 万次请求比很多付费计划都香。
Anthropic宣布Claude与Slack双向集成功能正式上线。用户可直接在Slack工作区添加Claude,在频道和线程中获取AI协助;也可将Slack连接至Claude,让AI搜索历史对话和文件提取上下文。该集成支持私信、AI助手面板和线程参与三种方式,可起草回复、准备会议及创建文档。功能现已向付费Slack团队开放,连接器适用于Claude Team、Enterprise及Pro/Max用户。Claude仅访问用户有权限的频道内容,严格遵循企业安全与隐私设置。
OpenAI 推出 Agentic Commerce Protocol(ACP),一个连接商家与 ChatGPT 用户的开放标准,作为两者之间的基础设施。它让 ChatGPT 能接收结构化商品目录数据、理解商家库存并在对话中呈现相关商品。文档提供了带示例 payload 的入门指引,以及关于商品文案、变体建模和归因的 feed 质量优化最佳实践。
推荐理由:OpenAI 官方文档介绍了 ACP 的定位和接入路径,商家可据此了解如何让商品出现在 ChatGPT 中。
OpenAI 宣布在 ChatGPT 中迈出 agentic commerce 的第一步,推出 Instant Checkout,并发布 Agentic Commerce Protocol,为人、AI 智能体和商家提供共同购物的新方式。
推荐理由:OpenAI 官宣在 ChatGPT 内推出即时结账并发布 Agentic Commerce Protocol,读者可关注 Agent 参与购物的新入口。
Anthropic 发布 Claude Sonnet 4.5,定位为复杂智能体和编程场景的最佳模型,拥有最高综合智能水平。同时推出 Amazon Bedrock 和 Vertex AI 的全球端点定价、新的 `model_context_window_exceeded` 停止原因、记忆工具(beta)以及上下文编辑功能(beta),后者可在接近 token 限制时自动清理旧工具结果与调用。
推荐理由:这是Anthropic放出的Sonnet 4.5,瞄准编码和复杂Agent场景,Memory工具和上下文编辑也一起开了,对靠API搞产品的开发者算大版本更新,但普通用户不必自己折腾。
Cognition 发布基于 Claude Sonnet 4.5 重构的新版 Devin,速度提升 2 倍,Junior Developer Evals 提升 12%,已在 Agent Preview 上线,旧版 Devin 仍可用。
推荐理由:来自一线 Agent 团队的适配复盘,给出了 Sonnet 4.5 的具体新行为和对应的工程应对,可迁移到类似智能体架构。
随着AI应用从单次提示转向构建长期运行的智能体,焦点正从“提示工程”演进为“上下文工程”。后者旨在为大型语言模型优化有限的上下文窗口内的全部信息,包括指令、工具、外部数据和对话历史。其核心挑战在于模型存在“注意力预算”限制和“上下文腐化”现象——随着上下文增长,模型回忆信息的准确性会下降。因此,上下文工程要求精心编排高价值信息,以有限的资源最大化产出期望结果,这已成为构建高性能、可操控智能体的关键。
推荐理由:Anthropic 亲自下场定义 context engineering 这个新范式,把 prompt engineering 之后的工程方法论讲透了。做 Agent 的人如果还在死磕 prompt,这篇会让你重新审视整个技术栈。
智源 FlagOpen 发布开源项目 RoboBrain-X0,一个面向 token 推理与动作生成的跨本体视觉-语言-动作模型。模型基于 RoboBrain 2.0 和 OmniSAT 动作分词器,用统一动作词表和 GRVQ 实现对 AgileX、R1-Lite、Franka 等异构本体的零样本泛化与任务分解。
Factory 宣布完成 5000 万美元 B 轮融资,估值 3 亿美元,由 NEA、Sequoia Capital、J.P. Morgan、Nvidia 等领投。公司称其 Droids 在 Terminal Bench 上排名第一,现向所有人开放,可搭配任意模型和任意界面使用。
Liquid AI 发布 Liquid Nanos 系列,包含 350M 至 2.6B 参数的任务专用 LFM2 模型,可完全在手机、笔记本和嵌入式设备上运行。
推荐理由:原文给出各款小模型的参数量、任务定位和评测对比,读者可判断端侧专用模型能否替代云端大模型。
Transluce 宣布以 Apache 2.0 许可证开源 Docent,用户可自托管、查看代码或提交 issue 和 pull request,托管版本仍在官方服务器上提供。Docent 用于分析 AI 智能体对话记录中的复杂行为,可将模糊问题如模型是否 reward hacking 转化为精确的行为 rubric 并测量其发生频率,官方希望借此推动公开审查并支持各机构评估者生态。
计划打造每周可新增1吉瓦算力的AI基础设施工厂,通过芯片、电力到机器人的全栈创新,支撑治愈癌症、全球个性化教育等宏大应用。项目将主要落地美国,未来数月公布合作伙伴,年底披露融资方案。
推荐理由:Sam Altman阐述OpenAI基础设施扩张愿景,计划每周新建1吉瓦算力
OpenAI 撰文解释为何 Responses API 是 GPT-5 的推荐集成方式,称其为推理模型和智能体未来量身定制的接口。
Modal 基于 Modal Sandboxes 构建并开源了 Modal Vibe,一个可弹性扩展的 vibe coding 平台,五分钟内可从 0 扩展到 1000 个 AI 编码应用。
OpenAI 在 GPT-5 系统卡附录中公布新模型 GPT-5-Codex,是针对 Codex 智能体编码进一步优化的 GPT-5 版本。该模型会根据任务复杂度更动态地调整思考力度,简单对话或小任务快速响应,复杂任务则可独立工作更长时间。
推荐理由:官方说明新模型按任务复杂度动态调整思考力度,读者可以据此判断它在快问快答与长任务间的取舍。
文章探讨如何为基于大语言模型的智能体设计高效工具。核心方法是通过与智能体(如Claude Code)协作,采用快速原型构建和全面评估的迭代流程来优化工具性能。关键设计原则包括:选择适当的工具实现范围,使用命名空间明确功能边界,从工具向智能体返回有意义的上下文,优化响应以提高token效率,以及对工具描述进行提示词工程。工具本质上是确定性系统与非确定性智能体之间的新契约,设计应优先考虑智能体的使用体验,而非传统开发者导向的API思路,以扩大智能体解决实际任务的能力。
推荐理由:Anthropic 把自家内部反复打磨的 agent 工具开发方法论完整公开了,从评估流程到 prompt 工程细节全是实操干货,做 MCP server 或 agent 工具链的人可以直接抄作业。
Cognition 宣布融资超 4 亿美元,投后估值 102 亿美元,由 Founders Fund 领投。Devin 的 ARR 从 2024 年 9 月的 100 万美元增至 2025 年 6 月的 7300 万美元,公司历史总净消耗低于 2000 万美元;收购 Windsurf 使 ARR 翻倍以上,并购后七周合并企业级 ARR 增长超 30%。
推荐理由:官方披露融资估值的同时给出 ARR、净消耗和并购后的增长数字,读者可以据此评估其 AI 编码业务的真实成色。
LlamaIndex 自建包含 1000 篇 ArXiv 论文的基准,测试 Claude Code 在有无 SemTools 时的文档搜索表现。
Linear 上月推出 Triage Intelligence,利用搜索、排序和 LLM 推理自动为新增工单标记重复项、关联问题并推荐标签与负责人。早期版本使用 GPT-4o mini 和 Gemini 2.0 Flash 等小模型,后转向 GPT-5 和 Gemini 2.5 Pro 等更大模型实现智能体式决策。
推荐理由:Linear 的 Triage Intelligence 用 agentic 方案把 issue 自动分类和去重做得很实用,透明可解释的交互设计让 AI 建议不再像个黑箱,做工具类产品的值得看一看。
Mistral 为 Le Chat 推出 beta 版 Connectors 目录和 Memories 功能,两者对所有用户免费开放。连接器覆盖 20+ 企业工具,包括 Databricks、Snowflake、GitHub、Notion、Stripe 等,并支持自定义 MCP 连接器;Memories 可跨对话保存上下文,支持随时增删改,还可从 ChatGPT 快速导入。
推荐理由:官方完整列出 20 多个连接器分类、自定义 MCP 与 Memories 的控制方式,可据此评估 Le Chat 对企业工作流的适配。
美团开源Agentic MoE模型LongCat-Flash,总参数量560B,每token仅激活27B。该模型基于SGLang框架,采用PD分离架构与SBO技术,通过四阶段流水线在单batch内实现计算与通信重叠,突破吞吐与延迟的权衡瓶颈。相比同类模型推理成本降低50%以上,在Agent任务中表现优异,适用于复杂实时智能体应用。
xAI发布轻量级编程模型Grok Code Fast 1,采用全新架构,基于真实PR数据训练,精通grep、终端和文件编辑等工具。推理速度达190 tokens/秒,定价输入$0.20/百万tokens、输出$1.50/百万tokens,SWE-Bench-Verified得分70.8%。目前已在GitHub Copilot、Cursor、Cline等平台限时免费开放。
推荐理由:xAI发布专为Agentic Coding优化的极速编程模型,已集成Cursor、Copilot等主流工具,价格极具竞争力
Prime Intellect 发布 Environments Hub,一个开放社区平台,用于创建、共享和复用强化学习环境与评测。内测时有超过 30 名研究员和公司贡献环境,现已向所有人开放,支持评测、prime-rl 训练器及 beta 版沙箱,配套 RFC 与赏金任务,目标是用众包环境训练全开源的 SOTA 智能体模型 INTELLECT-3。
SGLang 针对 openai/gpt-oss-120b 发布重大性能优化,prefill 吞吐量提升 2.1 倍,decode 吞吐量提升 2.25 倍。新版本集成 FlashInfer 内核以释放 NVIDIA Blackwell 性能,通过 FlashAttention-3 加速 Hopper GPU,并原生支持 AMD MI350。在 B200 上 MXFP4 精度下单批次解码速度达 416.02 tok/s。同时引入 EAGLE3 投机解码支持,GPQA 基准测试验证精度与官方报告一致,确保高性能不损失推理能力。
LlamaIndex 推出 CLI 工具 vibe-llama,可将 LlamaIndex、LlamaParse 及 workflows 的最新文档与 API 模式注入 Cursor、Claude Code 等编码智能体,避免其推荐过时 API。
Anthropic正式发布Claude for Chrome扩展,允许AI在浏览器中执行点击、填表等操作。该功能已从1000名Max用户试点扩展至所有付费订阅者,新增Claude Code集成、定时任务及多标签工作流。针对提示词注入攻击,Anthropic通过站点权限、操作确认等防护措施,基于123个测试案例的红队测试,将攻击成功率从23.6%降至11.2%,并屏蔽高风险网站以确保安全。
推荐理由:Claude浏览器代理正式开放,自动操作网页同时攻克提示注入安全难题
Cursor 与 Linear 推出新集成,用户可直接在 Linear 中将问题指派给 Cursor 智能体,如同指派给队友。智能体能承担编码任务、创建 PR 并在 Linear 中更新进度,降低团队处理低优先级问题的激活成本。该集成利用 Linear 的 SDK 和 GraphQL 类型快速构建,Cursor 产品经理 Rohan Varma 表示新 API 一天内即可上线运行。
推荐理由:Cursor 代理现在能直接从 Linear 任务面板接手编码工作,后台自动提 PR、更新进度,对那些积压 P2/P3 的团队来说,这是把 AI 真正嵌入工作流的信号。
Together AI 发布博客,讲解如何用 LLM Agent 自动化复杂长时工程任务,并以其内部投机解码(speculator)训练流水线为案例:任务需可验证、定义清晰、工具可支撑,核心模式包括优质工具、完善文档、安全执行、用 tmux 管理并行会话、让 Agent 学会 sleep 等待以及显式的进度验证。
Cohere 发布 Command A Reasoning,定位企业级推理任务,称在 BFCL-v3(70.3)、tau-bench、m-tau-bench 上优于 gpt-oss-120b、DeepSeek-R1 0528 和 Mistral Magistral Medium。
推荐理由:官方发布企业推理模型,给出可私有部署的硬件门槛和可控 token 预算,适合关注本地化部署与成本控制的团队参考。
DeepSeek-V3.1 正式发布,deepseek-chat 与 deepseek-reasoner 分别对应其非思考与思考模式。新模型采用混合推理架构,思考效率较 DeepSeek-R1-0528 更高,并通过 Post-Training 优化提升工具使用与智能体任务表现。
推荐理由:DeepSeek 把推理和非思考模式合并到一个模型,解决了之前切模型的体验割裂,Agent 能力提升对做工具调用的开发者是直接利好。
ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据:超1200人玩了3900多局游戏,人类大多能通关,AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关,前三名Agent均基于智能随机探索;官方指出部分游戏可被暴力搜索破解,未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。
推荐理由:原文公布了30天竞赛的完整人类与Agent得分对比,读者可以看到交互式推理基准用动作效率区分人类和AI的具体依据。
UI-Venus 是一款本地 UI 智能体,仅以屏幕截图作为输入,即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口,直接通过视觉信息理解界面结构,实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互,提升了跨平台任务执行的通用性与可靠性。
推荐理由:蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索,代码开源可直接用,做 GUI 自动化的值得看看底层怎么实现元素定位和导航。