OpenAI Evals API 使用指南
该资料为 OpenAI 开发者文档页面,主要介绍如何配置和运行评估(Evaluations),涉及 Evals API 的具体使用方法。
该资料为 OpenAI 开发者文档页面,主要介绍如何配置和运行评估(Evaluations),涉及 Evals API 的具体使用方法。
OpenAI Developers 发布了关于 Realtime API 和音频处理的官方指南,内容涵盖如何构建实时语音代理、进行实时翻译以及实现流式转录。该指南主要面向开发者,提供低延迟场景下的技术实现参考。
OpenAI Developers 发布了 Agents SDK 的快速入门文档,提供启动代码示例,旨在帮助开发者在几分钟内构建第一个 AI Agent。内容涵盖 Agent 基础、工具调用等核心概念。
OpenAI 开发者文档发布了一篇关于如何使用 Realtime API 构建实时语音翻译应用的指南,涵盖了低延迟流式音频处理等技术要点。
Mooncake团队基于OME和SGLang框架,在128张H200 GPU集群上完成了Moonshot AI 1万亿参数开源MoE模型Kimi K2的大规模部署。该方案采用PD分离与大规模专家并行技术,针对模型384个专家和每token 320亿激活参数的设计进行优化,通过跨节点通信优化与负载均衡策略,显著提升了trillion-scale模型的推理吞吐与并发处理能力。
OpenAI Developers 发布了一篇关于 Computer Use API 的指南,介绍了基于计算机使用代理(CUA)的相关功能。该资料主要指向官方文档链接,未包含具体的技术细节、代码示例或新的能力变更说明。
该资料为 OpenAI 开发者文档中的“内置工具指南”页面,主要介绍平台当前可用的内置工具及其具体用法,属于 API 开发文档的一部分。
OpenAI Developers 发布了关于如何创建和管理 Agents 的指南,内容涉及 Agents SDK、agentic 模式及工具调用。该资料仅提供了文档链接和简短描述,未包含具体技术细节或代码示例。
Manus 团队成员 Yichao 'Peak' Ji 撰文分享构建 Manus 智能体的上下文工程经验,核心原则包括围绕 KV-cache 命中率设计、用 logits 遮蔽而非移除工具、把文件系统当作终极上下文、通过复述待办列表操控注意力,以及保留错误和避免少样本陷阱。
推荐理由:Manus 团队复盘构建智能体的上下文工程经验,KV缓存、工具遮蔽和文件记忆等做法可直接迁移到读者的 Agent 项目。
NVILA 团队发布技术博客,详解如何在 SGLang 推理框架中集成新型视觉语言模型。文章以 NVILA 为实践案例,提供从模型适配、推理优化到部署的完整开发指南与代码实践。随着多模态大模型成为行业焦点,该方案填补了 SGLang 生态在视觉理解模型支持方面的文档空白,为开发者快速接入新 VLM 提供了标准化技术路径与最佳实践。
OpenRouter的灵活模型路由现已集成到Cursor,用户可在Cursor中直接调用Moonshot AI的Kimi K2模型进行编码操作。
OpenRouter 宣布其灵活模型路由支持在 Cursor 中运行月之暗面的 Kimi K2。用户可直接在 Cursor 中调用 OpenRouter 路由的模型,无需额外配置。
推荐理由:一篇将 OpenRouter 模型接入 Cursor 的实操指南,虽然已过时三百多天,但对想免配置用 Kimi K2 的 Cursor 用户仍有参考价值。
DeepEval 与 LlamaIndex 组合可对 RAG 流水线做单元测试式评测:DeepEval 提供 50+ 开箱即用指标,默认由 OpenAI gpt-4o 驱动,示例选用 Answer Relevancy、Faithfulness 和 Contextual Precision 三项 RAG 指标。
LlamaIndex 发文拆解"上下文工程"概念,指出它与提示词工程的区别在于更关注用最相关信息填满 LLM 的上下文窗口,而非仅提供指令。文章将上下文拆为系统提示词、用户输入、短期与长期记忆、知识库检索、工具定义与响应、结构化输出、全局状态等来源,并给出知识库或工具选择、上下文排序与压缩等策略,可用 LlamaIndex 和 LlamaParse 落地。
Modal 团队复盘其 QArt codes 服务的工程过程,通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO,同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由:Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径,evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
Factory 发布 Agent Native Development 方法论,主张让 agent 运行收集上下文、规划、实现、验证、提交的完整内循环,人来负责架构决策和护栏。
推荐理由:Factory 提出的 Agent Native Development 方法论给出写精确规格、验证环境和 drift 恢复的可迁移做法,适合想系统化用 agent 写代码的开发者参考。
Sierra 介绍其自适应路由客户端,把基础模型可靠性当作动态优化问题,通过 Balanced 与 Protective 两种转向模式、自适应健康检查和基于 EWMA 的加权 tumbling 窗口,将请求路由到表现最佳的提供商。上线当月经历多次提供商故障,包括一次持续数小时的中断,客户均未感知停机。配套的请求对冲策略在超过设定延迟阈值时发送备份请求,使 P99 延迟下降超过 70%。
TensorZero 发布一套开源方法,通过 post-commit Git hook 自动评估 Cursor 等编码智能体在实际工程流程中的效果。方法将生成代码与提交代码解析为语法树,用 tree-sitter 和 Zhang-Shasha 树编辑距离(TED)计算语言感知的奖励分数,并以 Rust 二进制配合 rayon 并行计算反馈存入 ClickHouse。
LlamaIndex 发布教程,结合 Zoom 新推出的 RTMS 实时会议数据流与 LlamaIndex 事件驱动 Agent Workflow 及 Notion API,构建实时会议记录助手,示例已开源。
Modal 官方博客分享如何将 Black Forest Labs 的 FLUX.1-dev 在 Modal 上的自托管推理提速三倍,使 1024x1024 图像生成延迟从约 6.75 秒降至约 2.2 秒,达到与专有 API 竞争的三秒目标。
Claude的多智能体研究系统采用协调器-工作者架构,一个主导智能体分析用户查询并制定策略,并行调用多个专用子智能体协同工作。内部评估显示,以Claude Opus 4为主导、Claude Sonnet 4为子智能体的系统,在研究任务上比单智能体Claude Opus 4性能提升90.2%。该系统擅长处理需要同时探索多个独立方向的广度优先查询,通过分配独立上下文窗口实现并行推理扩容。但多智能体系统消耗的token量约为普通聊天的15倍,适用于任务价值足以支撑性能提升的场景,在需要高度并行化、大信息量或多工具调用的任务中表现卓越。
推荐理由:Anthropic 把 Research 背后的多智能体架构、prompt 工程和踩坑经验全抖出来了,做 Agent 的同行可以直接抄作业,尤其是『token 用量解释 80% 性能方差』这个结论,选型逻辑要变。
文章由 Daniel Roy Greenfeld 撰写,介绍了 Jeremy Howard 在 fastcore 库中新增的 flexicache 装饰器。该工具支持灵活的内存缓存策略,包括基于时间(time_policy)和文件修改时间(mtime_policy)的自动失效机制,以及 LRU 缓存替换。文中通过代码示例演示了如何单独或组合使用这些策略来优化 Python 函数调用性能。
TensorZero 团队将自家的开源框架作为自托管代理接入 Cursor,经 Ngrok 和 Nginx 绕过 Cursor 服务器与 CORS 限制后,成功观察并控制其全部 LLM 调用。
推荐理由:作者实测把自托管代理接进 Cursor,读者可以照着复现并查看其真实提示词与模型调用。
OpenAI 发布 Cookbook 教程,介绍用评估驱动设计方法构建收据解析自动化工作流,覆盖从原型到生产的过程。
OpenAI Cookbook 发布指南,讲解如何通过提示词最佳实践改进 o3/o4-mini 的函数调用表现。
Sierra 分享其 AI 语音智能体在真实通话中的三项经验:自研 Voice Activity Detection(VAD)系统可区分背景噪音、打断与附和;智能体能同时思考与倾听、倾听与说话、说话与思考,并实时纠错;语音场景下更多上下文反而提升问题解决效果。Sierra 称其平台上的 AI 智能体可提供 24/7 语音支持,无需等待、转接或回拨,无法解决时可无缝转接人工坐席。
LlamaIndex 为管理包含 650 多个 Python 包(多为 Integrations 和 Packs)的 monorepo,自研了大规模 monorepo 管理工具 LlamaDev。此前其技术栈为 Poetry 管理单个包、Pants 跨包编排测试、GitHub Actions 自动化,该组合使用超过一年,但随规模扩大暴露出构建速度与缓存服务器等问题。
LlamaIndex 发布改进的 Memory 组件,为 Agent 提供短长期记忆能力。基础形式将聊天记录按 token 上限存入 SQL 数据库(默认内存 SQLite)。
推荐理由:官方介绍了新版 Memory 组件的设计与用法,开发者可以对照三类长期记忆块判断是否迁移自己的 Agent 工作流。
LlamaIndex 分享其对有效智能体设计模式的看法,主张在完全自主与刚性结构之间取混合路线,并以其 Python 和 TypeScript 框架中的 Workflows 事件系统实现链、分支、循环与并行等模式。Workflows 在关键流程上提供可预测的确定性路径,同时让 LLM 在非结构化输入、灵活规则和新场景中保持自主,并支持 human-in-the-loop。
OpenAI 开发者 Cookbook 发布教程,介绍如何使用 GPT Image 能力生成和编辑图像,并提供可运行的示例供开发者参考。
LlamaIndex 提出 Agentic Document Workflow(ADW)参考架构,用 Parse、Retrieve、Reason、Act 四个阶段和 Pydantic 类型化数据契约,把企业文档处理从"与文档聊天"原型推进到全自动流程。
Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流,并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查,以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用,并提供了避免常见失败模式的实用建议。
推荐理由:Anthropic 官方出的 Claude Code 最佳实践,不是泛泛而谈的入门指南,而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册,用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。
Mistral 团队介绍用 LLM as a Judge 评估 RAG 系统的方法,即让一个"judge LLM"按数值、二值或定性量表为"generator LLM"的答案打分,再对评测数据集求加权平均。
OpenAI 发布介绍视频,演示如何使用 4o 模型创建图像。视频展示了 4o 的图像生成功能的基本用法。
推荐理由:官方演示如何用 4o 模型生成图像,想上手该功能的开发者可以直接参照操作。
LlamaIndex 发布 LlamaParse 使用指南,演示用 Python 几行代码把 PDF 解析为 markdown,注册可获得 10,000 免费积分、每天免费解析 1000 页。
Anthropic为Claude引入了“思考”工具,允许其在生成最终响应前插入一个专门的思考步骤,以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同,更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中,该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它,并提供了标准的工具实现格式。
推荐理由:Anthropic 官方给出的 think tool 实操指南,附带 τ-Bench 和 SWE-bench 的真实数据,做 Agent 或 tool use 的开发者可以直接抄 prompt 模板,比自己瞎试强太多。
LlamaIndex 的 LlamaExtract 可用于从 SEC 10-K/Q 财报中提取结构化数据,这类文件常超过 100 页、结构松散且含大量表格,传统方法难以跨章节保持上下文。
LangChain 博客介绍开发者加速 AI Agent 的常见做法:先用 LangSmith 诊断延迟来源,再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数(如用 LangGraph 精确控制智能体通信)、换更快模型、削减输入上下文以及并行执行 LLM 调用。
推荐理由:原文把 Agent 提速拆成诊断瓶颈、减少与并行 LLM 调用、优化感知延迟等具体路径,方法可直接迁移到自己的项目。
Linktree 团队分享使用 Cognition 的 AI 智能体 Devin 一个月的成果:Devin 完成约 300 个 PR,其中约 100 个已合并,主要是修复客户报告的 bug、实现小功能和原型验证。
推荐理由:Linktree 官方复盘 Devin 落地细节,给出任务筛选标准、多 Devin 协作和 API 用法等可直接迁移的经验。
Cognition 官方教程介绍如何用 Devin External API 与 GitHub Actions 在 PR 打开、更新或重新打开时自动启动 Devin 实例做代码审查,通常 5 到 10 分钟开始发布评论。