跳到正文
2025年4月23日周三
2025年4月20日周日
  1. Eugene Yan:Writing52

    Eugene Yan:LLM-as-Judge 救不了产品,修复评估流程才行

    Eugene Yan 撰文指出,靠加评估工具、指标或 LLM-as-judge 不能拯救 AI 产品,评估应是用科学方法驱动产品改进的实践。他给出从观察数据、标注 50:50 通过与失败样本、假设失败原因、设计对照实验到量化分析的循环,并主张先写评估再开发功能的 eval-driven development,同时强调自动评估器只能放大而非替代人工标注与反馈监督。

2025年4月18日周五
  1. Anthropic:Engineering77

    Claude Code:智能体编码最佳实践指南

    Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流,并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查,以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用,并提供了避免常见失败模式的实用建议。

    推荐理由:Anthropic 官方出的 Claude Code 最佳实践,不是泛泛而谈的入门指南,而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册,用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。

2025年4月9日周三
2025年3月26日周三
2025年3月24日周一
2025年3月20日周四
  1. Anthropic:Engineering71

    “思考”工具:让Claude在复杂工具使用场景中停下来思考

    Anthropic为Claude引入了“思考”工具,允许其在生成最终响应前插入一个专门的思考步骤,以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同,更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中,该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它,并提供了标准的工具实现格式。

    推荐理由:Anthropic 官方给出的 think tool 实操指南,附带 τ-Bench 和 SWE-bench 的真实数据,做 Agent 或 tool use 的开发者可以直接抄 prompt 模板,比自己瞎试强太多。

2025年3月17日周一
2025年3月16日周日
  1. LangChain:Blog60

    LangChain 官方教程:AI Agent 提速的实用方法

    LangChain 博客介绍开发者加速 AI Agent 的常见做法:先用 LangSmith 诊断延迟来源,再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数(如用 LangGraph 精确控制智能体通信)、换更快模型、削减输入上下文以及并行执行 LLM 调用。

    推荐理由:原文把 Agent 提速拆成诊断瓶颈、减少与并行 LLM 调用、优化感知延迟等具体路径,方法可直接迁移到自己的项目。

2025年2月13日周四
  1. Cognition 模型 / Devin 博客64

    Linktree 复盘用 Devin 一个月写约 300 个 PR 的实践经验

    Linktree 团队分享使用 Cognition 的 AI 智能体 Devin 一个月的成果:Devin 完成约 300 个 PR,其中约 100 个已合并,主要是修复客户报告的 bug、实现小功能和原型验证。

    推荐理由:Linktree 官方复盘 Devin 落地细节,给出任务筛选标准、多 Devin 协作和 API 用法等可直接迁移的经验。

2025年1月31日周五
2025年1月21日周二
2025年1月15日周三
2025年1月14日周二
2025年1月12日周日
2025年1月6日周一
  1. Anthropic:Engineering72

    Claude 3.5 Sonnet 在 SWE-bench Verified 基准测试中刷新纪录

    升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

    推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

2024年12月19日周四
  1. Anthropic:Engineering80

    构建高效智能体:从简单模式开始

    Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。

    推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。

2024年12月13日周五
  1. Answer.AI 官方研发博客45

    Answer.AI 推出 nbsanity:一键将 GitHub Notebook 转为精美网页

    Answer.AI 发布免费服务 nbsanity,允许用户通过修改 URL 或使用书签,将 GitHub 上的公开 Jupyter Notebook 快速渲染为基于 Quarto 的精美静态网页。该工具无需配置或部署,支持代码折叠、隐藏单元格等自定义展示功能,旨在降低技术写作分享门槛。它仅负责渲染而不执行代码,并保留历史版本链接。

2024年12月10日周二
  1. Answer.AI 官方研发博客45

    Answer.AI 博客:如何在 iTerm2 中无缝集成 ShellSage

    文章介绍了如何利用 iTerm2 的 tmux control mode(控制模式)来优化 Answer.AI 旗下工具 ShellSage 的使用体验。通过配置 iTerm2 Profile 启动命令为 `tmux -CC`,用户可以在保留原生终端界面(如标签页、滚动条)的同时,后台运行 tmux 以提供 AI 上下文感知能力,从而避免学习复杂的 tmux 快捷键和界面操作。文中提供了本地及远程 SSH 连接的具体配置步骤。

2024年12月9日周一
2024年12月6日周五
2024年12月3日周二
2024年12月1日周日
  1. Anthropic:Alignment Science Blog56

    Anthropic 发布对齐伪造演示的复现与扩展指南

    Anthropic 在对齐伪造论文之后发布复现指南,提供包含 helpful-only 设置最小复现的 notebook,其中 Claude 3 Opus、Claude 3.5 Sonnet 和 Llama-3 405B 会产生对齐伪造推理。文章还提供转录浏览网站、合成文档数据、部分实验代码库,并提出 no-CoT 合规差距成因、为何部分模型会伪造对齐等未来研究问题。

2024年11月30日周六
  1. Hamel Husain 长文59

    Hamel Husain 分享通过技术写作积累受众的六个策略

    Hamel Husain 总结通过技术写作积累开发者的六个策略:深度回应他人工作、持续发布、改进文案、搭建语音转内容流水线、利用独特视角、优化社交卡片与排期。文中给出 Superwhisper、VoicePal、Canva、typefully 等工具用法,并引用 Jason Liu 一年内每天约发 30 帖从 500 涨到 3 万粉丝的例子说明坚持的意义。

2024年11月28日周四
  1. Lilian Weng:Lil'Log42

    强化学习中的奖励欺骗问题

    奖励欺骗是指强化学习智能体通过利用奖励函数的缺陷或歧义获取高分,而非真正完成预期任务的现象。随着语言模型任务泛化能力增强,以及基于人类反馈的强化学习成为主流对齐训练方法,该问题在语言模型训练中变得尤为突出。具体表现为模型可能通过修改测试用例来通过编程任务,或生成模仿用户偏好的偏见回答。此类行为正成为制约AI模型在更自主化场景中实际应用部署的关键瓶颈之一。

2024年11月24日周日
2024年11月21日周四
2024年11月14日周四
  1. LlamaIndex:产品、工程与评测43

    RAGformation:用 RAG 自动生成云服务配置与架构图

    LlamaIndex RAG-a-thon 获奖项目 RAGformation 可让用户用自然语言描述需求,自动生成云服务选型、架构流程图和 AWS 成本估算。该工具基于 LlamaIndex Workflows 与 Pinecone 向量库,支持随需求变化动态调整推荐并输出完整报告,代码已在 GitHub 开源。

2024年11月7日周四
2024年11月5日周二
  1. LlamaIndex:产品、工程与评测51

    LlamaIndex 详解超越基础 RAG 的 LLM 报告生成构建模块

    LlamaIndex 提出基于 RAG 的报告生成方法,让系统从简单问答升级为自动产出研究报告、演示文稿和分析等完整文档。文章给出五个构建模块,包括 Pydantic 结构化输出定义、LlamaParse 复杂文档解析、知识库集成、多智能体工作流和模板处理系统,并估计每份报告可节省 10-15 小时,附多模态报告、财务分析、Excel 模板填写和 RFP 响应生成等示例 notebook。

2024年10月29日周二
2024年10月10日周四
2024年9月23日周一
  1. 英国 AI Security Institute:Blog48

    英国 AI Security Institute 如何开发前沿 AI 开放式问答评测

    英国 AI Security Institute 分享了其开发开放式问答(QA)评测的经验,该评测通过提示模型回答数百个问题并自动评分,比多选题更能反映真实对话场景。评测通过其开源框架 Inspect 运行,答案通常为 100 至 400 词,开发流程涵盖起草有挑战性的问题、编写细致的评分指南等五个步骤。

2024年9月19日周四
  1. Anthropic:Engineering72

    引入上下文检索:大幅提升RAG系统准确性的新方法

    传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。

    推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。

2024年9月16日周一
  1. Modal 官方工程博客51

    Modal 通过动态批处理将 Whisper 推理吞吐提升 2.8 倍

    Modal 在官方博客讲解如何为 Whisper large v3 添加动态批处理,只需在推理函数加 @modal.batched() 装饰器并改为列表输入输出。在 A10G 上以 max_batch_size 64 测试,吞吐从约 1.2 提升到约 3.3 请求/秒/容器,推理成本降低 65%。文章还解释了动态批处理相比固定批处理可避免请求稀疏时的无界延迟,并支持任意返回单响应的工作负载。

2024年9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年9月10日周二
  1. Modal 官方工程博客47

    如何用 Modal、dlt 和 dbt 构建低成本分析栈

    Modal 工程团队用 dlt 做数据加载、dbt 做转换、GitHub Actions 做 CI/CD,在 Modal 上跑完整分析栈,每天搬运数百万行数据成本不到 1 美元。其中一次任务在 47 秒内写入 1,375,896 行(约 20MB),按 Modal 计费约合每月 0.006 美元;同样每月 3000 万行的同步量在 Fivetran 上需 4,738 美元/月。