METR 发布 Rogue Replication 威胁模型分析
METR 发布对 rogue replication(失控自主复制)威胁模型的分析,认为没有决定性障碍阻止失控 AI 智能体扩展到数千至数百万人类等效规模,但也因此降低了该威胁模型的优先级。
METR 发布对 rogue replication(失控自主复制)威胁模型的分析,认为没有决定性障碍阻止失控 AI 智能体扩展到数千至数百万人类等效规模,但也因此降低了该威胁模型的优先级。
LlamaIndex 黑客松获奖团队提出 RAG Context Refinement Agent,在问答阶段用智能体反复回访源文档,通过 Evaluator 判断检索片段是否足以回答问题,再由 Tool Selector 调度摘要、文件筛选、链接追踪等工具迭代精炼 scratchpad 上下文。
英国 AI Security Institute(AISI)启动悬赏计划,征集自主系统风险相关的危险能力评估方案,并寻求授权 agent scaffolding 工具,以测试前沿 AI 模型能力上限。通过初筛进入第二阶段的评估申请者可获 £2,000 算力经费,成功任务按每小时 £100-200 计酬,单个任务奖励 £3,000-£15,000。第一阶段申请截止日期已延长至 12 月 14 日。
LlamaIndex 提出基于 RAG 的报告生成方法,让系统从简单问答升级为自动产出研究报告、演示文稿和分析等完整文档。文章给出五个构建模块,包括 Pydantic 结构化输出定义、LlamaParse 复杂文档解析、知识库集成、多智能体工作流和模板处理系统,并估计每份报告可节省 10-15 小时,附多模态报告、财务分析、Excel 模板填写和 RFP 响应生成等示例 notebook。
xAI 启动 Grok API 公测,发布新模型 grok-beta,支持 128k 上下文、函数调用及系统提示,视觉版本下周上线。开发者每月可获 $25 免费额度至年底,已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式,修改 base_url 即可迁移。
推荐理由:xAI开放Grok API公测,每月送$25额度且兼容OpenAI接口,开发者可立即体验
Anthropic 在 Alignment Science Blog 发布针对 ASL-4 能力级别模型的安全案例草案,围绕 Benton et al. (2024) 提出的三类破坏威胁模型,给出机制可解释性、AI Control 和激励分析三种假设性论证结构。文章强调这些并非官方政策或承诺,作者认为三种草案均未能完全解决破坏风险,目的是收集反馈并确定研究方向。
OpenAI 推出 MLE-bench,用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景,评估智能体完成相关工作的能力。
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。
推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Anthropic 发布 Claude Opus 5.5(claude-opus-5-5),面向长时间运行的智能体编程与知识工作,默认 1M token 上下文窗口、128k 最大输出 token,定价 $4 / $20 每 MTok,已在 Claude API、Amazon Bedrock、Google Cloud 等平台上线。
Cognition 发布 Devin 9 月产品更新,新增 MultiDevin(1 个 manager Devin 配最多 10 个 worker Devin 并行分工合并改动,限 Enterprise 用户)、VPC 部署、Custom Devins 微调版本、会话回滚与 Knowledge 自动建议等功能。
LlamaIndex 官方发布 llama-deploy,用于以可扩展微服务的方式部署和扩展基于 llama-index 构建的智能体 Workflows,只需几行代码即可部署。
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞,攻击者可在其自建的公开频道发布恶意指令,诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户,点击后数据被外泄。
推荐理由:报告给出完整攻击链和复现细节,读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
Mistral AI 宣布三项开发者能力更新。La Plateforme 现已支持自定义旗舰和专用模型(含 Mistral Large 2 和 Codestral)。
METR 发布通用自主能力评测的中期研究更新,新增约 50 个自动评分任务,涵盖网络安全、软件工程和机器学习技能。基于 GPT-4o 和 Claude 3.5 Sonnet 的智能体完成任务水平约相当于人类基线者 30 分钟的工作量,任务难度跨度从不到 5 分钟到超过 16 小时;智能体性能在约 20 万 token 处趋平,而在双方都能完成的任务上,智能体成本约为人力的 1/30。
LlamaIndex 推出 beta 功能 Workflows,一种基于事件驱动架构的编排机制,用于替代此前的 Query Pipelines 来构建复杂 AI 应用。
LlamaIndex 为 LlamaParse 发布文件级检索 API,与原有的 chunk 级检索并列,可按元数据或内容检索整份文档(如完整的 SEC 10K 文件或幻灯片),并支持切换检索模式、调整 top-k 和元数据过滤。官方还提供 Jupyter notebook,演示如何构建在 chunk 级与文件级检索之间动态选择的智能体,例如摘要类问题走文件级、具体数据问题走 chunk 级。
Sierra 分享了其 AI 智能体开发方法论 Agent Development Life Cycle,用于构建、测试和优化面向客户服务的 AI 智能体。该智能体已用于 Sonos 音箱设置、SiriusXM 收音机刷新和 OluKai 鞋类退换等场景,并依托 Agent OS 平台组合技能、接入工具系统。
Cognition 用 Devin 在云端 Windows 机器上模拟 CrowdStrike 故障并完成恢复。Devin 按工程师编写的 8 步 playbook 自主执行,删除了 Windows/System32/drivers/CrowdStrike/C-00000291-* 文件,中途还自行调试了卷卸载失败问题,最终确认机器可正常启动。
LlamaIndex 开源了一个多智能体礼宾(concierge)系统的构建教程,用编排智能体路由任务、续接智能体串联依赖链,并以全局状态在智能体间共享用户状态。系统包含股票查询、身份认证、余额查询、转账四个任务智能体和三个元智能体,文章给出了核心循环、编排提示词和完整运行示例,代码仓库已开源。
LangChain 宣布 LangGraph v0.1 稳定版发布,并推出处于封闭 Beta 的 LangGraph Cloud,用于大规模、容错地部署智能体。
推荐理由:官方发布交代了 LangGraph v0.1 稳定版的控制设计与 Cloud 的容错部署能力,可帮助读者判断智能体上线时的基础设施选型。
LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布,用于构建和部署生产级多智能体 AI 系统,可将每个 agent 变成独立运行的微服务。
推荐理由:官方发布开源多智能体框架 alpha 版,介绍了微服务架构、编排方式、监控工具和从本地到生产部署的具体用法。
Sierra AI 研究团队发布 τ-bench(τ-retail 和 τ-airline 两个领域)基准,通过 LLM 模拟用户与工具 API 的多轮动态交互,评估 Agent 完成复杂任务并遵循领域策略的能力,并提出 pass^k 可靠性指标。
推荐理由:原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
Factory 宣布完成 1500 万美元 A 轮融资,由 Sequoia Capital 领投,Lux Capital 和 Mantis VC 参投,总融资超 2000 万美元,估值 1.2 亿美元。
Cognition 发布 Devin 6 月产品更新,用户可通过 VSCode 直接读写 Devin 的文件并在其机器上开终端,还能用 Interactive Browser 直接操作其浏览器。
Sierra 基于其 Agent OS 提出面向 AI 智能体的 Agent Development Life Cycle,用声明式目标和确定性护栏解决 LLM 智能体的非确定性问题。
英国 AI Safety Institute(AISI)发布对五个已公开使用的大语言模型(匿名化命名)的评测结果,覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由:官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果,读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由:Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
METR 发布初步实验报告,测量额外能力激发可能带来的智能体能力提升。在 195 个混合任务上,OpenAI 对 GPT-4 的后训练使智能体成功率从 5±2% 升至 30±6%(提升 26 个百分点),与从 GPT-3.5 Turbo 换到 GPT-4 的提升相当;METR 自身的改进(改提示词、更多工具、基于奖励模型的推理时计算)仅再提升 8 个百分点,未达统计显著。
METR 公开了一套评估前沿模型危险自主能力的资源,包括任务套件、软件工具、能力引导指南和示例评估协议。任务难度覆盖从普通人几分钟到专业人类约一周的工作量,仅公开约 20 个示例任务源码以防训练数据污染;其初步测量显示后训练增强的影响与 GPT-3.5 Turbo 到 GPT-4 的性能差距在同一量级。协议目前为 beta 版,METR 计划持续迭代并征集反馈。
Cognition 发布 AI 软件工程师 Devin,可规划并执行需要数千次决策的复杂工程任务,配备 shell、代码编辑器和浏览器等沙盒开发环境,并能实时汇报进度、接受反馈与用户协作。
推荐理由:官方宣布 Devin 并给出 SWE-bench 13.86% 的成绩与具体能力示例,读者可据此评估智能体在真实工程任务中的可用性。
METR 发布 Task Standard,提供定义 AI 智能体能力评测任务的通用方式,已用于涵盖 AI R&D、网络安全、通用自主能力等领域的 1000 多个任务,英国 AI Safety Institute 等机构也在使用。
Sierra 发布面向企业的对话式 AI 平台,让每家公司都能构建自己的 AI 智能体。该平台已与 WeightWatchers、SiriusXM、Sonos、OluKai 等品牌合作,其中 WeightWatchers 的智能体已处理近 70% 的客户会话,满意度达 4.6/5。平台强调智能体可推理决策、调用企业系统采取行动,并提供审计与数据治理工具以保障合规与可信。
LlamaIndex.TS 发布教程,演示如何用 TypeScript 构建 LLM 智能体:先通过 FunctionTool 和 OpenAIAgent 搭建计算智能体,让模型自动调用 sum、multiply 函数完成"5+5 再乘 2"的多步计算。
LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。
推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。
LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。
推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。
Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段,预测人机能力互补——计算机处理机械工作、人类负责思考,这一范式延续64年直至LLM打破界限。他预见云计算雏形,但误判技术路径:当时看好的逻辑推理AI成死胡同,而因缺乏数据被忽视的统计方法(LLM)终成主流。对交互预测也偏离现实:设想的多人协作大屏未普及,键盘鼠标仍是主导;对语音识别"5年实现"的乐观估计,实际耗时64年未成熟。
推荐理由:Karpathy 借 1960 年文献反思人机共生与 AI 发展路径,历史洞察深刻
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞:攻击者在网页中用白色小字隐藏指令,用户将该网页作为资料源后,LLM 会遵照隐藏指令渲染 markdown 图片或链接,把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由:原文给出完整攻击链、复现细节和披露时间线,读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
Waii 与 LlamaIndex 集成推出新的 text-to-SQL 插件,让 LlamaIndex 智能体可同时调用数据库与 PDF 数据源。该插件通过内置编译器、知识图谱和语义规则,解决中大型数据库(数百张表、数千列)在 LLM 上下文窗口受限时查询不准的问题。
LangChain 撰文认为 OpenAI 开发者日发布的 GPTs 和 Assistants API 代表对封闭式 agent 认知架构的押注,即由 LLM 全权决定状态转移。文章指出当前真正可靠的应用多采用复杂链或状态机架构,并强调推送而非拉取上下文能带来更高可控性,同时提出开源认知架构与闭源之争将比模型之争更值得关注。
推荐理由:文章把 GPTs 和 Assistants API 归纳为对封闭 agent 认知架构的押注,并结合 GPT-Researcher 等案例说明为何自定义架构更可控。
Rubric Labs 团队在 LangChain 博客发布指南,讲解为 Cal.com 构建的 AI 邮件调度助手 Cal.ai 的生产架构。
推荐理由:原文拆解了一个已在生产环境运行的邮件调度 Agent 架构,读者可以借鉴其工具设计与提示词构造方法。