OCR 已死,Agentic OCR 长存:LlamaParse 如何为 AI 智能体解析文档
LlamaIndex 提出 Agentic OCR,即通过 LLM 工具调用循环让解析系统自行决定阅读策略、调用专用模型并基于结果迭代,而非传统 OCR 的单次转换。该系统需满足三点:阅读策略随文档自适应、修正须有证据支撑、执行须有明确时限与目标。LlamaParse 已在 "Agentic" 和 "Agentic Plus" 档位提供上述能力。
LlamaIndex 提出 Agentic OCR,即通过 LLM 工具调用循环让解析系统自行决定阅读策略、调用专用模型并基于结果迭代,而非传统 OCR 的单次转换。该系统需满足三点:阅读策略随文档自适应、修正须有证据支撑、执行须有明确时限与目标。LlamaParse 已在 "Agentic" 和 "Agentic Plus" 档位提供上述能力。
Cresta 基于 Claude Agent SDK 打造了自然语言智能体构建器 Conductor,帮助团队将复杂业务上下文转化为可投产的客服体验智能体。Cresta 称在早期用例中,Conductor 将初始部署时间缩短约一半。Conductor 是自改进的元智能体,可将构建经验沉淀为可复用的 skill 供团队共享。
OpenRouter 发文比较 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具,介绍各自沙箱的语言、网络、持久化与计费差异,并推出处于 beta 的 openrouter:shell 与 openrouter:bash 工具,可在 Responses 和 Messages API 上为任意模型运行命令。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。
vLLM 将 PyTorch 原生内核 DSL Helion 集成进线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并按 shape 自动调优选择最优配置。
OpenAI 发布 GPT-6 家族的实用指南,讲解如何按任务选择 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 及推理档位与速度模式。
推荐理由:原文系统给出 GPT-6 家族的选型、缓存成本、长任务管理等可操作方法,读者可直接迁移到自己的生产工作流。
Baseten 的 Model API 在 Artificial Analysis 上跑出 200+ TPS、约 200ms TTFT,成为该榜单上最快的 GLM-5 服务。
Databricks 提出一套评估框架,用业务影响、需求重复度、数据与元数据就绪度、范围清晰度、治理与风险匹配 5 项标准各打 1-5 分,总分 20-25 分即可开建,14-19 分需继续打磨,低于 14 分暂不适合。2026 年 Genie Agents 创建量已超 100 万个,最常见的失败原因是选错工作流,而非准确率。此外,若没有业务负责人或高管支持,无论评分多高都不应启动。
GitHub 提出 AI 时代开发者应强化三项技能:学会指挥 AI 智能体而非仅使用它,不轻信 AI 的首次答案,以及用 AI 节省的时间去解决更大的问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行评审,从而发现首个模型遗漏的问题。
OpenRouter 发布教程,讲解客服机器人如何用 cheap-first 路由把常规 FAQ 交给便宜模型、仅在必要时升级到更强模型。
OpenRouter 发文将多模型编排分为工作流编排、模型路由和提供商路由三层,指出 LangGraph 和 CrewAI 负责工作流编排,OpenRouter 负责模型与提供商路由,二者不互相替代。
推荐理由:原文把多模型编排拆成三层职责,并给出同一管道在直接路由和框架下的对照代码,读者可据此选择自己项目所需的层。
OpenRouter 发布文章,对比 LangChain、CrewAI、OpenAI Agents SDK、Claude Agent SDK、Microsoft Agent Framework 和 Google ADK 如何定义工具 schema 并在各 provider 间做翻译。
PyTorch 团队发布用 TLX(Triton 低层扩展)在 NVIDIA Blackwell B200 上优化 Jagged Flash Attention(Meta 生成式广告模型 GEM 的 attention kernel)的博客。
Fireworks 在 GLM 5.2 上做同一 RL 任务实验,训练端与 rollout 引擎概率计算不一致时 KL 约 0.013、每批约 45% 样本被丢弃,reward 在约第 20 步从 0.9 崩到 0.2 以下;对齐后 KL 为 0、reward 全程稳定。
Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。
这篇 Claude Code 官方开发者教程介绍 mods,即以 hooks 形式运行在插件内的 JavaScript 或 TypeScript 模块,可以观察、重写或拒绝事件,甚至绘制自定义 UI,需 Claude Code 2.1.287 或更高版本。
推荐理由:教程从空文件夹完整构建一个 mods 插件,并给出事件链、状态保持和热重载等可直接复用的实践要点。
LangChain 在其开源编码 Agent Open SWE 中构建模型路由器,在 973 个线程的 A/B 测试中,中位成本从 $2.61 降到 $0.94(降 64%),PR 合并率 29.2% 对 27.3%,质量无可测变化。
推荐理由:作者用自己 Open SWE 的 A/B 数据讲清路由如何省 64% 成本且质量不降,步骤可直接迁移到其他 Agent。
英国 AI Security Institute 宣布完成第一阶段安全加固工作,恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程,还通过静态分析、动态分析和受控逃逸试验用 AI 测试自身安全。
推荐理由:AISI 公开其恢复高危评估前的多层防御、实时监控和沙箱验证细节,为其他评估机构提供了可参考的安全实践。
NVIDIA 发布技术教程,介绍如何用 NeMo 框架微调 Nemotron 3.5 ASR,使其适配沙特 Najdi 和 Hijazi 方言。该模型支持 40 种语言区域的多语种流式转录,教程采用加权回放混合与部分编码器解冻,在 SADA 2022 上从 125,490 条语音中筛出 103,559 条(133.7 小时)用于训练。
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
NVIDIA Dynamo-Triton(原 Triton Inference Server)现已通过 recsys-examples 仓库支持端到端 HSTU 生成式推荐推理工作流,结合 PyTorch AOTI、FlexKV KV 缓存与 NV embedding cache。
AlphaSense 与 Cerebras 合作,用快速推理为 Generative Search 加速路由、查询生成和证据评估等高频模型调用环节,使系统能在同一响应窗口内完成更多推理步骤。这改变了架构取舍:不再把规划、检索、评估压缩进单个提示词,而是拆成多个专用模型调用,仍保持交互式体验。
Google 在 TPU 上通过稀疏注意力内核优化加速视频扩散模型推理,将理论稀疏性转化为端到端实际加速。
NVIDIA 发布教程,演示如何用 NeMo Relay 追踪 Hermes Agent 的 harness 行为:运行终端工具与文件加网页研究两个示例,通过 ATOF、ATIF 和 OpenTelemetry 三种格式的 trace 检查模型与工具调用、错误、重试、耗时和 token 消耗,并结合任务验证结果评估 harness 改动。
Anthropic 销售团队基于 Claude Managed Agents(beta)搭建购买智能体,每天处理数千场对话,引导客户从咨询到完成购买。转化的销售机会是旧表单的两倍多,成交快约五天,需人工介入的对话占比下降约一半。文章介绍了部署位置、三种会话结局,以及给目标而非规则、少即是多、引入领域专家等构建经验。
Torch Spyre 基于 PyTorch 跨仓库 CI Relay(CRCR)达到 L2 集成,用智能体流水线从代码与执行证据中筛选并重新分桶测试,再用声明式 YAML 框架适配上游测试而无需打补丁。
vLLM 官方博客发布分离式推理实用指南,讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由:作者来自参与开发的 IBM Research,给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。
OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由:原文把工具调用失败拆成选错工具和传错参数两类,给出三种评测方法及跨模型测试代码,方法可直接迁移到自己的 Agent 评测。
OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。
推荐理由:原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法,可直接照做。
OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。
推荐理由:原文给出可复用的 Agent 回归测试方法,包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。
Sarvam AI 发布 25 分钟长的智能体构建指南,核心观点是智能体就是在循环中运行、能调用工具的语言模型,而技能、记忆和领域知识本质上都是在合适时机把合适文本放进上下文窗口。指南围绕在线商店客服智能体 ShopBot 逐步展开,覆盖系统提示词、工具设计、渐进式披露的技能、短期与长期记忆、RAG 检索、智能体拆分原则,并以完整端到端示例、常见错误清单和构建检查表收尾。
推荐理由:原文用同一个客服智能体贯穿全篇,把上下文窗口当作唯一线索解释工具、技能、记忆和检索的取舍,方法可直接迁移到自己的智能体开发。
NVIDIA 发布 TensorRT Model Connect 开源项目复盘,该项目用 C++ 提供 AI 模型参考实现,截至 2026 年 7 月 29 日公开发布对比时已覆盖 128 个模型家族并在 NVIDIA GB300 上测试。
Databricks 发文介绍其让 12,000 多名员工在新模型发布首日即可使用的方法,依托 Unity Gateway 和 UG CLI 分发实验配置,并用按用户的四类预算限制用量。
Replit 撰文阐述其 harness 设计理念:由主 agent(core loop)自行决定子智能体的档位与 effort,而非用路由器选模型。
推荐理由:Replit 官方复盘 Agent harness 设计,给出生产数据与双基准对比,可迁移到自己的多智能体架构取舍。
世界杂耍联盟(WJF)创始人 Jason Garfield 用 Runway 为荷兰两日赛事的转播补全观众席:首日满座、次日侧机位空座,他用 Aleph 2.0 在原始素材中加入观众而不改动画面其他部分,仅一个极广角镜头退回 After Effects 处理。他还用 Runway 生成开场动画、选手资料卡、排行榜和舞台烟火,整档约一小时特别节目由他一人完成,单段生成时长上限约 15 秒。
OpenRouter 发布图生视频模型对比,覆盖 Veo 3.1 系列、Seedance 2.5 与 2.0 系列、Kling v3.0 系列和 Grok Imagine Video,通过同一 video generation API 调用。
推荐理由:原文以表格对比 Veo、Seedance、Kling、Grok Imagine Video 各系的分辨率、时长、帧控制和价格,并给出按需求选型的判断路径。
Databricks 分享其让全部员工在模型发布首日即可试用新模型的内部流程,依托 Unity Gateway 做配置分发、治理与可观测性。流程分三步:立即以实验标签开放新模型、用四类按人预算控制成本、再依据内部基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下线。
推荐理由:Databricks 以自家 12000 名员工的实际 rollout 为例,给出可复用的新模型评估、预算分层与成本度量方法。
GitHub Security Lab 发布开源 seclab-taskflows 任务流,通过 gather_mobile_entry_point_info.yaml 和 classify_application_local.yaml 等提示词引导 LLM 审计 Android 应用,已发现并报告 24 个漏洞。
推荐理由:作者以第一手实践拆解了任务流设计与运行步骤,并给出真实漏洞案例和 LLM 局限,方法可直接迁移到自己的项目审计。