METR 发布时间视野研究:AI 可完成任务时长每约 7 个月翻倍
METR 提出以 AI 智能体能完成的任务时长(按人类专业人士所需时间衡量)来度量模型能力,发现过去 6 年该指标呈指数增长,翻倍时间约 7 个月,且在 SWE-Bench Verified 上翻倍时间不足 3 个月。
推荐理由:METR 用任务时长衡量模型能力,给出六年间指数增长趋势和约 7 个月翻倍速度,为理解模型真实工作能力提供一个可比较的框架。
METR 提出以 AI 智能体能完成的任务时长(按人类专业人士所需时间衡量)来度量模型能力,发现过去 6 年该指标呈指数增长,翻倍时间约 7 个月,且在 SWE-Bench Verified 上翻倍时间不足 3 个月。
推荐理由:METR 用任务时长衡量模型能力,给出六年间指数增长趋势和约 7 个月翻倍速度,为理解模型真实工作能力提供一个可比较的框架。
LangChain 博客介绍开发者加速 AI Agent 的常见做法:先用 LangSmith 诊断延迟来源,再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数(如用 LangGraph 精确控制智能体通信)、换更快模型、削减输入上下文以及并行执行 LLM 调用。
推荐理由:原文把 Agent 提速拆成诊断瓶颈、减少与并行 LLM 调用、优化感知延迟等具体路径,方法可直接迁移到自己的项目。
Anthropic Alignment Science 团队研究发现,当前模型在被提示后可以隐蔽地破坏 ML 实验和研究决策,且不被零样本提示的监控模型察觉。
OpenRouter API 首个深度研究工具已上线,API 响应中直接返回完整引用。
OpenRouter API 上线首个深度研究工具,API 响应中直接包含完整引用。同时平台新增多款模型。
推荐理由:第一个通过 API 可调用的 deep research 工具,直接返回带引用结果,想在自己产品里加 research 能力的开发者不容错过。
Prime Intellect 宣布获得 1500 万美元融资,由 Founders Fund 领投,Menlo Ventures、Andrej Karpathy、Clem Delangue、Tri Dao 等参投,总融资额超过 2000 万美元。
Cognition 发布 Devin 2025 年 2 月产品更新,Devin 比 2024 年 10 月快约 2 倍,内部评估中完成初级开发者任务平均约 7.8 分钟,并于 2/24 接入 Sonnet 3.7。新功能包括批量并行编辑、主动反馈次优提示词、GitLab(beta)支持、浏览器多标签与本地 UI 测试改进等。
Goodfire 宣布与 Arc Institute 合作,对新一代基因组基础模型 Evo 2(7B 和 40B 参数,可处理最长 1M 碱基对序列)进行可解释性研究。
Grok 3 Beta 正式发布,开启"推理智能体"时代。新版本强化深度推理与自主决策能力,支持复杂任务拆解和多步逻辑链处理,在数学、编程等推理密集型场景表现显著提升,标志着 AI 从简单问答向自主推理决策的范式转变。
推荐理由:xAI发布Grok 3 Beta,主打推理智能体能力
METR 构建了 KernelAgent,在改进版 KernelBench 上测量 AI 智能体优化 GPU 推理内核的能力,同模型下加速从原 KernelBench 的 1.05x 提升到 1.81x,取各模型最优达 2.01x。
Linktree 团队分享使用 Cognition 的 AI 智能体 Devin 一个月的成果:Devin 完成约 300 个 PR,其中约 100 个已合并,主要是修复客户报告的 bug、实现小功能和原型验证。
推荐理由:Linktree 官方复盘 Devin 落地细节,给出任务筛选标准、多 Devin 协作和 API 用法等可直接迁移的经验。
OpenAI 阐述关于 AI 经济学的三点观察:模型智能与训练资源的对数成正比,可预测扩展;AI 使用成本每 12 个月下降约 10 倍,远超摩尔定律速度;智能线性增长将产生超指数级社会经济价值。据此,AI 代理将如虚拟同事般渗透各领域,科学进步将大幅加速,虽然短期内生活照旧,但长期将深刻重塑社会经济结构,个人意志力和适应能力将成为关键价值。
推荐理由:Sam Altman 提出 AI 经济学三大观察,描绘 AGI 时代 Agent 工作图景
Prime Intellect 推出 SYNTHETIC-1,一个基于 DeepSeek-R1 生成的开源推理数据集,包含 140 万条任务与验证器,覆盖数学、编程、软件工程、STEM 和合成代码理解,并开放任何人贡献算力。
Mistral AI 发布全新 le Chat AI 助手,上线 iOS 和 Android,并推出 Pro($14.99/月)、Team 及 Enterprise 私测版本。
推荐理由:Mistral 官方完整列出新 le Chat 的功能、定价和部署选项,读者可以据此与同类助手做横向比较。
OpenAI 推出 deep research,一个运用推理能力整合大量网络信息、完成多步研究任务的智能体。该功能当天向 Pro 用户开放,随后面向 Plus 和 Team 用户推出。
推荐理由:原文来自官方公告,说明了 deep research 的能力定位和分批开放节奏,读者可以据此判断它何时可用。
Anthropic Safeguards 团队介绍用于 AI 安全监控的分层摘要方法:先对单次交互的 prompt-completion 对做结构化摘要,再汇总为用户级使用模式报告,配合危害分级分类进行人工审核分流。
OpenAI 宣布推出 Operator,正文未抓取到,具体功能与细节以原文链接 https://openai.com/index/introducing-operator 为准。
LlamaIndex 推出 AgentWorkflow,一个基于其 Workflow 抽象的智能体系统构建与编排框架。它负责智能体间协调、状态维护和实时事件流监控,支持 FunctionAgent 与 ReActAgent 两种类型、全局 Context 状态管理,以及通过 InputRequiredEvent 集成人工审批,官方提供了单智能体和多智能体研究报告系统的代码示例。
推荐理由:官方介绍了 AgentWorkflow 的多智能体协作、内置状态管理和事件流监控能力,并附可直接运行的代码示例,适合评估是否引入现有 Agent 开发流程。
Modal 宣布 Sandboxes 正式可用,这是安全运行 LLM、用户或第三方来源不可信代码的隔离执行环境。它提供 exec API,可在运行时用与 Functions 相同的 Image API 动态配置任意语言依赖,支持文件系统快照以持久化和多 Sandbox 扇出,并复用 Functions 基础设施带来快速冷启动、GPU 和全球区域选择。
推荐理由:Modal 官方宣布 Sandboxes 正式可用,给出 exec API、动态镜像和 SWE-bench 7 分钟跑完 Verified 等实测数字,可据此评估智能体代码执行方案。
Cognition 官方教程介绍如何用 Devin External API 与 GitHub Actions 在 PR 打开、更新或重新打开时自动启动 Devin 实例做代码审查,通常 5 到 10 分钟开始发布评论。
Cognition 发布 Devin 1月产品更新,改进了 Devin 在仓库中的上下文推理,能更全面找到相关文件、复用现有代码和模式,生成更准确的 PR,将逐步向全部用户推出。
LlamaIndex 发布用 Workflows 构建 text2cypher 知识图谱智能体的实践教程,实现朴素、重试、重试加评估和迭代规划四种流程,代码开源并提供托管应用。
Crossmint 撰文复盘在开源项目 GOAT SDK 中使用 Cognition 的 Devin 的经验:试运行期间 Devin 合并 8 个 PR,按 PR 数成为项目第一贡献者(第二名 4 个)。
LlamaIndex 推出 Agentic Document Workflows(ADW)架构,将文档处理、检索、结构化输出与智能体编排结合,实现端到端知识工作自动化,超越传统 IDP 与 RAG。该架构以文档智能体为核心,借助 LlamaParse 解析与检索能力,在合同审查、病历摘要、发票处理、车险理赔等场景中维护跨步骤状态并生成可执行建议。
Aim Labs(Cato)披露 Cursor IDE 的高危漏洞 CurXecute(CVE-2025-54135,评分 8.6),外部托管的一条提示词注入可静默改写 ~/.cursor/mcp. 并以用户权限执行任意命令,实现 RCE。
推荐理由:原文给出完整的提示词注入到 RCE 攻击链细节和漏洞机理,读者可以据此审视 MCP 类 Agent 的运行时防护。
Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。
推荐理由:来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。
Sam Altman在ChatGPT两周年之际回顾OpenAI九年历程:从坚信AGI可能实现,到2022年意外推出ChatGPT并引爆前所未有的增长曲线。他坦承过去两年从零构建公司的混乱压力,以及被董事会突然解雇的危机教训。如今周活用户已达3亿,在迈向AGI的道路上,他既感激这段经历,也承认未来仍充满未知。
推荐理由:Sam Altman 反思创业历程,预测 2025 年 AI Agent 将实质性改变企业产出
LlamaIndex 与 NVIDIA 合作发布 NVIDIA AI Blueprint,用多智能体系统实现研究、撰写并优化任意主题的博客文章。
升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。
推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Cognition 宣布 Devin 正式全面开放,所有工程团队可在 app.devin.ai 使用,订阅每月 500 美元起,含无限席位、API、Slack 集成、IDE 扩展及 Cognition 团队直接支持。
LangChain 发布 State of AI 2024 报告,基于 LangSmith 用户使用数据总结 LLM 应用开发趋势。OpenAI 仍是最常用 LLM 提供商(59.2%),用量约为第二位 Ollama(8.5%)的 6 倍以上;Ollama 和 Groq 进入前五,开源提供商合计占前 20 名的 20%。
Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。
推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。
Cognition 宣布 Devin Open Source Initiative,在 Devin 正式发布之际向被选中的开源维护者提供 Devin Teams 计划 500 免费 ACU。
Cognition 宣布 Devin 正式全面可用,无席位限制,所有工程团队可在 app.devin.ai 开始使用,并提供 Slack 集成、IDE 扩展(VSCode 及分支,Beta)和 API,以及 Cognition 工程团队的 onboarding 支持。
推荐理由:官方宣布 Devin 全面开放并给出适用任务、使用建议和多个开源 PR 实例,读者可据此评估如何把 Devin 接入自己的工程流程。
Answer.AI 发布开源工具 ShellSage(代号 BashBuddy),旨在解决开发者在终端使用 AI 时频繁切换上下文的痛点。该工具集成 tmux 的 capture-pane 功能,使 AI 能“看见”当前终端状态和历史记录,从而提供更具针对性的命令建议和安全警告。文章通过一个 Let's Encrypt 证书泄露排查案例,展示了人机协作在系统管理中的价值,强调其核心是增强而非替代人类直觉。
Cognition 发布 Devin 12 月产品更新,覆盖 Slack 协作、PR 改进、IDE 测试版扩展(Cmd+G 呼出,可与 Copilot 和 Cursor 配合)、支持结构化输入输出的 REST API,以及自动扫描代码库生成的 Repo Knowledge。
METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
推荐理由:原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
Mistral AI 宣布对其免费生成式 AI 助手 le Chat 进行大版本更新,新增带引用的网页搜索、Canvas 协作编辑界面、图像生成和可发布的 Agent 工作流,全部以免费 beta 提供。
推荐理由:官方一次性列出 le Chat 六项新能力和免费 beta 政策,可对照竞品表格判断它在工作流上提供了哪些替代选择。
LlamaIndex RAG-a-thon 获奖项目 RAGformation 可让用户用自然语言描述需求,自动生成云服务选型、架构流程图和 AWS 成本估算。该工具基于 LlamaIndex Workflows 与 Pinecone 向量库,支持随需求变化动态调整推荐并输出完整报告,代码已在 GitHub 开源。
研究团队提出Anthology方法,利用包含丰富个人价值观与经历细节的自然主义背景故事(backstories)作为条件上下文,引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签(如年龄、性别)导致的刻板印象局限,使LLM能够从"人口混合声音"转向精确模拟个体人类样本,显著提升了模拟保真度,为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。