跳到正文
2025年1月15日周三
2025年1月14日周二
2025年1月6日周一
  1. Anthropic:Engineering72

    Claude 3.5 Sonnet 在 SWE-bench Verified 基准测试中刷新纪录

    升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

    推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

2024年12月19日周四
  1. Anthropic:Engineering80

    构建高效智能体:从简单模式开始

    Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。

    推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。

2024年12月13日周五
  1. Answer.AI 官方研发博客45

    Answer.AI 推出 nbsanity:一键将 GitHub Notebook 转为精美网页

    Answer.AI 发布免费服务 nbsanity,允许用户通过修改 URL 或使用书签,将 GitHub 上的公开 Jupyter Notebook 快速渲染为基于 Quarto 的精美静态网页。该工具无需配置或部署,支持代码折叠、隐藏单元格等自定义展示功能,旨在降低技术写作分享门槛。它仅负责渲染而不执行代码,并保留历史版本链接。

2024年12月10日周二
  1. Answer.AI 官方研发博客45

    Answer.AI 博客:如何在 iTerm2 中无缝集成 ShellSage

    文章介绍了如何利用 iTerm2 的 tmux control mode(控制模式)来优化 Answer.AI 旗下工具 ShellSage 的使用体验。通过配置 iTerm2 Profile 启动命令为 `tmux -CC`,用户可以在保留原生终端界面(如标签页、滚动条)的同时,后台运行 tmux 以提供 AI 上下文感知能力,从而避免学习复杂的 tmux 快捷键和界面操作。文中提供了本地及远程 SSH 连接的具体配置步骤。

2024年12月6日周五
2024年12月1日周日
  1. Anthropic:Alignment Science Blog56

    Anthropic 发布对齐伪造演示的复现与扩展指南

    Anthropic 在对齐伪造论文之后发布复现指南,提供包含 helpful-only 设置最小复现的 notebook,其中 Claude 3 Opus、Claude 3.5 Sonnet 和 Llama-3 405B 会产生对齐伪造推理。文章还提供转录浏览网站、合成文档数据、部分实验代码库,并提出 no-CoT 合规差距成因、为何部分模型会伪造对齐等未来研究问题。

2024年11月21日周四
2024年11月14日周四
  1. LlamaIndex:产品、工程与评测43

    RAGformation:用 RAG 自动生成云服务配置与架构图

    LlamaIndex RAG-a-thon 获奖项目 RAGformation 可让用户用自然语言描述需求,自动生成云服务选型、架构流程图和 AWS 成本估算。该工具基于 LlamaIndex Workflows 与 Pinecone 向量库,支持随需求变化动态调整推荐并输出完整报告,代码已在 GitHub 开源。

2024年11月7日周四
2024年11月5日周二
  1. LlamaIndex:产品、工程与评测51

    LlamaIndex 详解超越基础 RAG 的 LLM 报告生成构建模块

    LlamaIndex 提出基于 RAG 的报告生成方法,让系统从简单问答升级为自动产出研究报告、演示文稿和分析等完整文档。文章给出五个构建模块,包括 Pydantic 结构化输出定义、LlamaParse 复杂文档解析、知识库集成、多智能体工作流和模板处理系统,并估计每份报告可节省 10-15 小时,附多模态报告、财务分析、Excel 模板填写和 RFP 响应生成等示例 notebook。

2024年9月23日周一
  1. 英国 AI Security Institute:Blog48

    英国 AI Security Institute 如何开发前沿 AI 开放式问答评测

    英国 AI Security Institute 分享了其开发开放式问答(QA)评测的经验,该评测通过提示模型回答数百个问题并自动评分,比多选题更能反映真实对话场景。评测通过其开源框架 Inspect 运行,答案通常为 100 至 400 词,开发流程涵盖起草有挑战性的问题、编写细致的评分指南等五个步骤。

2024年9月19日周四
  1. Anthropic:Engineering72

    引入上下文检索:大幅提升RAG系统准确性的新方法

    传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。

    推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。

2024年9月16日周一
  1. Modal 官方工程博客51

    Modal 通过动态批处理将 Whisper 推理吞吐提升 2.8 倍

    Modal 在官方博客讲解如何为 Whisper large v3 添加动态批处理,只需在推理函数加 @modal.batched() 装饰器并改为列表输入输出。在 A10G 上以 max_batch_size 64 测试,吞吐从约 1.2 提升到约 3.3 请求/秒/容器,推理成本降低 65%。文章还解释了动态批处理相比固定批处理可避免请求稀疏时的无界延迟,并支持任意返回单响应的工作负载。

2024年9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年9月10日周二
  1. Modal 官方工程博客47

    如何用 Modal、dlt 和 dbt 构建低成本分析栈

    Modal 工程团队用 dlt 做数据加载、dbt 做转换、GitHub Actions 做 CI/CD,在 Modal 上跑完整分析栈,每天搬运数百万行数据成本不到 1 美元。其中一次任务在 47 秒内写入 1,375,896 行(约 20MB),按 Modal 计费约合每月 0.006 美元;同样每月 3000 万行的同步量在 Fivetran 上需 4,738 美元/月。

2024年8月27日周二
2024年8月26日周一
2024年8月21日周三
  1. LlamaIndex:产品、工程与评测45

    如何用 LlamaParse 优化 RAG 管道的 chunk size

    LlamaParse 推出 Index Cloning、Chunk Visualization 等功能,帮助开发者快速试验 RAG 管道的 chunk size 配置,无需手动重建索引或管理多份数据存储。文中以三篇 ICLR 2024 论文为例,基线设置 512 tokens chunk size 时回答遗漏了 SWE-bench 的部分特征,改用 Page 分段且不分块后回答更完整。

2024年8月5日周一
2024年7月26日周五
  1. Sierra:Blog40

    Sierra 如何交付并扩展 AI 智能体

    Sierra 分享了其 AI 智能体开发方法论 Agent Development Life Cycle,用于构建、测试和优化面向客户服务的 AI 智能体。该智能体已用于 Sonos 音箱设置、SiriusXM 收音机刷新和 OluKai 鞋类退换等场景,并依托 Agent OS 平台组合技能、接入工具系统。

2024年7月20日周六
2024年7月19日周五
  1. LlamaIndex:产品、工程与评测43

    LlamaIndex 与 PostgresML 如何用重排序改进向量搜索

    LlamaIndex 联合 PostgresML 演示了用 cross-encoder 重排序改进向量搜索结果相关性的方法。cross-encoder 直接比较查询与结果文本对计算相似度,无需预计算 embedding,但需逐对计算、成本较高,因此适合对检索出的子集做重排序,且不依赖大量用户交互数据即可处理新内容。

2024年7月17日周三
  1. LlamaIndex:产品、工程与评测59

    LlamaIndex 开源多智能体礼宾系统构建教程

    LlamaIndex 开源了一个多智能体礼宾(concierge)系统的构建教程,用编排智能体路由任务、续接智能体串联依赖链,并以全局状态在智能体间共享用户状态。系统包含股票查询、身份认证、余额查询、转账四个任务智能体和三个元智能体,文章给出了核心循环、编排提示词和完整运行示例,代码仓库已开源。

2024年6月11日周二
  1. LlamaIndex:产品、工程与评测60

    LlamaIndex 教程:自定义属性图谱索引以提升 GraphRAG 准确率

    Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引,用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重,并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储,最后用自定义检索器完成问答回流,代码托管在 GitHub。

    推荐理由:原文给出图谱构建、实体去重和自定义检索的完整可复现代码,读者可以迁移到自己的 GraphRAG 项目。

2024年6月6日周四
2024年6月4日周二
2024年5月21日周二
2024年5月14日周二
  1. LlamaIndex:产品、工程与评测62

    用 LlamaIndex 和 llamafile 搭建本地私有研究助手

    LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。

    推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。

2024年4月26日周五
  1. Modal 官方工程博客61

    Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small

    这篇 Modal 工程博客讲解如何微调开源嵌入模型,在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。

    推荐理由:原文给出完整的微调实验数据,读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。

2024年3月20日周三
  1. LlamaIndex:产品、工程与评测43

    用 LlamaIndex 和 Protect AI 的 LLM Guard 构建安全 RAG

    Protect AI 展示如何用开源安全工具 LLM Guard 配合 LlamaIndex 加固 RAG 应用,对文档输入和模型输出进行扫描,检测并清除提示词注入、数据泄露等恶意内容。示例中,一份简历用白色文字隐藏了提示词注入,LLM Guard 在检索阶段将其拦截。LLM Guard 模型下载量已超 250 万次,并提供针对提示词和响应的多种安全扫描器。

2024年3月19日周二
2024年3月14日周四
2024年3月13日周三
2024年2月29日周四
  1. EleutherAI:Blog

    Foundation Model 开发速查表

    发布全新资源 FM Dev Cheatsheet,这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息,涵盖架构设计、训练优化及部署等环节的核心要点,帮助快速查阅技术规范与最佳实践,提升开发效率与项目质量。

2024年2月17日周六