OpenRouter 教程:如何在 CI 中用 LLM eval 门禁拦截 Pull Request
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。
内容类型
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
578 条精选近 30 天 68 条共收录 2,891 条
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
vLLM 官方博客发布分离式推理实用指南,讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由:作者来自参与开发的 IBM Research,给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。
OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由:原文把工具调用失败拆成选错工具和传错参数两类,给出三种评测方法及跨模型测试代码,方法可直接迁移到自己的 Agent 评测。
OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。
推荐理由:原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法,可直接照做。
OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。
推荐理由:原文给出可复用的 Agent 回归测试方法,包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。
Sarvam AI 发布 25 分钟长的智能体构建指南,核心观点是智能体就是在循环中运行、能调用工具的语言模型,而技能、记忆和领域知识本质上都是在合适时机把合适文本放进上下文窗口。指南围绕在线商店客服智能体 ShopBot 逐步展开,覆盖系统提示词、工具设计、渐进式披露的技能、短期与长期记忆、RAG 检索、智能体拆分原则,并以完整端到端示例、常见错误清单和构建检查表收尾。
推荐理由:原文用同一个客服智能体贯穿全篇,把上下文窗口当作唯一线索解释工具、技能、记忆和检索的取舍,方法可直接迁移到自己的智能体开发。
Replit 撰文阐述其 harness 设计理念:由主 agent(core loop)自行决定子智能体的档位与 effort,而非用路由器选模型。
推荐理由:Replit 官方复盘 Agent harness 设计,给出生产数据与双基准对比,可迁移到自己的多智能体架构取舍。
OpenRouter 发布图生视频模型对比,覆盖 Veo 3.1 系列、Seedance 2.5 与 2.0 系列、Kling v3.0 系列和 Grok Imagine Video,通过同一 video generation API 调用。
推荐理由:原文以表格对比 Veo、Seedance、Kling、Grok Imagine Video 各系的分辨率、时长、帧控制和价格,并给出按需求选型的判断路径。
Databricks 分享其让全部员工在模型发布首日即可试用新模型的内部流程,依托 Unity Gateway 做配置分发、治理与可观测性。流程分三步:立即以实验标签开放新模型、用四类按人预算控制成本、再依据内部基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下线。
推荐理由:Databricks 以自家 12000 名员工的实际 rollout 为例,给出可复用的新模型评估、预算分层与成本度量方法。
GitHub Security Lab 发布开源 seclab-taskflows 任务流,通过 gather_mobile_entry_point_info.yaml 和 classify_application_local.yaml 等提示词引导 LLM 审计 Android 应用,已发现并报告 24 个漏洞。
推荐理由:作者以第一手实践拆解了任务流设计与运行步骤,并给出真实漏洞案例和 LLM 局限,方法可直接迁移到自己的项目审计。
Anthropic 在 claude-api skill 中新增 /claude-api build-eval 和 /claude-api hillclimb 两个命令,前者在代码库内通过访谈式流程构建评测集并验证 grader,后者以一次一改动、train/test 分离并检测过拟合的方式迭代优化应用。
推荐理由:Anthropic 官方讲解了评测设计的关键原则,并给出 build-eval 和 hillclimb 两个命令的用法与真实优化案例,可迁移到自己的应用调优。
Anthropic 官方文档介绍针对 Claude Opus 5.5 的提示词模式,覆盖 effort 校准、无人值守智能体运行、安全拒绝、进度更新、多应用工作流、视觉输入和前端设计等场景。
推荐理由:官方文档梳理了从 Claude Opus 5 迁移到 5.5 时的具体提示词与 harness 调整点,可直接对照排查现有集成的问题。
LangChain 发布教程,讲解如何结合 TypeSafe 新发布的决策模型 Jev 与 LangGraph 构建“prod, not god”的生产系统。
推荐理由:文章用文档审查和浏览器自动化案例演示了决策模型加 LangGraph 的组合方式,读者可以借鉴把确定性代码与模型判断拆开编排的思路。
推荐理由:原文把 Opus 5.5 的降价幅度换算成 Claude Code 中单个任务的实际成本,并提供计算器供读者自行测算。
GitHub 官方博客发布 GitHub Copilot app 新手教程,介绍用 /create-canvas 技能通过自然语言描述生成可自定义的 canvas 界面。
推荐理由:教程来自 GitHub Copilot 官方博客,讲解了用 /create-canvas 生成双向共享界面的具体做法,适合想定制智能体工作流的读者上手。
GitHub 工程师 Josh Black 复盘将 Primer 设计系统从 CSS-in-JS 迁移到 CSS Modules 的历程。截至 2024 年 12 月 Primer 全部组件迁移完成,服务端渲染时间减少 55%,组件初始化时间减少 25%。
推荐理由:原文给出大厂从 CSS-in-JS 迁移到 CSS Modules 的完整路径和量化收益,可迁移到类似的前端架构改造。
Anthropic 工程师 Addy Osmani 拆解 Opus 5.5 在 Claude Code 中完成任务的成本构成:turns、缓存读取、输出 token 和模型选择四个因素决定账单。Opus 5.5 输入输出价格比 Opus 5 降 20%,缓存读取降 60%,官方估算典型任务整体运行成本低 40%;文中还给出 effort 分级、缓存命中率维护、/usage 自查等省钱做法。
推荐理由:原文拆解了 Opus 5.5 上一个任务的账单构成,并给出 effort、缓存、压缩等可自查可迁移的成本优化方法。
Anthropic 员工 Thariq Shihipar 深入评测了 effort 设置对 Claude Code 中 Fable 5.1 和 Opus 5.5 输出的影响。
推荐理由:作者结合实测和 Terminal-Bench 3.0 数据解释 effort 档位的适用场景,读者可据此调整自己用 Claude Code 的验证与迭代流程。