跳到正文
2024年11月12日周二
2024年11月7日周四
2024年11月5日周二
  1. 英国 AI Security Institute:Blog46

    英国 AI Security Institute 征集自主智能体评估与 agent scaffolding 悬赏方案

    英国 AI Security Institute(AISI)启动悬赏计划,征集自主系统风险相关的危险能力评估方案,并寻求授权 agent scaffolding 工具,以测试前沿 AI 模型能力上限。通过初筛进入第二阶段的评估申请者可获 £2,000 算力经费,成功任务按每小时 £100-200 计酬,单个任务奖励 £3,000-£15,000。第一阶段申请截止日期已延长至 12 月 14 日。

  2. LlamaIndex:产品、工程与评测51

    LlamaIndex 详解超越基础 RAG 的 LLM 报告生成构建模块

    LlamaIndex 提出基于 RAG 的报告生成方法,让系统从简单问答升级为自动产出研究报告、演示文稿和分析等完整文档。文章给出五个构建模块,包括 Pydantic 结构化输出定义、LlamaParse 复杂文档解析、知识库集成、多智能体工作流和模板处理系统,并估计每份报告可节省 10-15 小时,附多模态报告、财务分析、Excel 模板填写和 RFP 响应生成等示例 notebook。

2024年11月4日周一
  1. xAI:News

    Grok API 公测版发布

    xAI 启动 Grok API 公测,发布新模型 grok-beta,支持 128k 上下文、函数调用及系统提示,视觉版本下周上线。开发者每月可获 $25 免费额度至年底,已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式,修改 base_url 即可迁移。

    推荐理由:xAI开放Grok API公测,每月送$25额度且兼容OpenAI接口,开发者可立即体验

2024年11月1日周五
  1. Anthropic:Alignment Science Blog52

    Anthropic 提出 ASL-4 安全案例的三种草案构思

    Anthropic 在 Alignment Science Blog 发布针对 ASL-4 能力级别模型的安全案例草案,围绕 Benton et al. (2024) 提出的三类破坏威胁模型,给出机制可解释性、AI Control 和激励分析三种假设性论证结构。文章强调这些并非官方政策或承诺,作者认为三种草案均未能完全解决破坏风险,目的是收集反馈并确定研究方向。

2024年10月10日周四
2024年9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年9月10日周二
2024年9月5日周四
2024年8月20日周二
  1. PromptArmor:Threat Intelligence68

    PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据

    PromptArmor 披露 Slack AI 存在间接提示词注入漏洞,攻击者可在其自建的公开频道发布恶意指令,诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户,点击后数据被外泄。

    推荐理由:报告给出完整攻击链和复现细节,读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。

2024年8月7日周三
2024年8月6日周二
  1. METR:Research58

    METR 更新通用自主能力评测:新增约 50 个任务并测试 GPT-4o 与 Claude 智能体

    METR 发布通用自主能力评测的中期研究更新,新增约 50 个自动评分任务,涵盖网络安全、软件工程和机器学习技能。基于 GPT-4o 和 Claude 3.5 Sonnet 的智能体完成任务水平约相当于人类基线者 30 分钟的工作量,任务难度跨度从不到 5 分钟到超过 16 小时;智能体性能在约 20 万 token 处趋平,而在双方都能完成的任务上,智能体成本约为人力的 1/30。

2024年8月1日周四
2024年7月30日周二
  1. LlamaIndex:产品、工程与评测48

    LlamaParse 推出文件级检索,支持动态路由的检索智能体

    LlamaIndex 为 LlamaParse 发布文件级检索 API,与原有的 chunk 级检索并列,可按元数据或内容检索整份文档(如完整的 SEC 10K 文件或幻灯片),并支持切换检索模式、调整 top-k 和元数据过滤。官方还提供 Jupyter notebook,演示如何构建在 chunk 级与文件级检索之间动态选择的智能体,例如摘要类问题走文件级、具体数据问题走 chunk 级。

2024年7月26日周五
  1. Sierra:Blog40

    Sierra 如何交付并扩展 AI 智能体

    Sierra 分享了其 AI 智能体开发方法论 Agent Development Life Cycle,用于构建、测试和优化面向客户服务的 AI 智能体。该智能体已用于 Sonos 音箱设置、SiriusXM 收音机刷新和 OluKai 鞋类退换等场景,并依托 Agent OS 平台组合技能、接入工具系统。

2024年7月20日周六
2024年7月17日周三
  1. LlamaIndex:产品、工程与评测59

    LlamaIndex 开源多智能体礼宾系统构建教程

    LlamaIndex 开源了一个多智能体礼宾(concierge)系统的构建教程,用编排智能体路由任务、续接智能体串联依赖链,并以全局状态在智能体间共享用户状态。系统包含股票查询、身份认证、余额查询、转账四个任务智能体和三个元智能体,文章给出了核心循环、编排提示词和完整运行示例,代码仓库已开源。

2024年6月27日周四
2024年6月26日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 开源发布 llama-agents 多智能体框架 alpha 版

    LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布,用于构建和部署生产级多智能体 AI 系统,可将每个 agent 变成独立运行的微服务。

    推荐理由:官方发布开源多智能体框架 alpha 版,介绍了微服务架构、编排方式、监控工具和从本地到生产部署的具体用法。

2024年6月21日周五
  1. Sierra:Blog63

    Sierra 发布 τ-bench 基准,评测 AI Agent 在真实场景下的表现与可靠性

    Sierra AI 研究团队发布 τ-bench(τ-retail 和 τ-airline 两个领域)基准,通过 LLM 模拟用户与工具 API 的多轮动态交互,评估 Agent 完成复杂任务并遵循领域策略的能力,并提出 pass^k 可靠性指标。

    推荐理由:原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

2024年6月18日周二
2024年6月5日周三
2024年6月4日周二
2024年5月20日周一
  1. 英国 AI Security Institute:Blog66

    英国 AISI 发布五款公开 LLM 先进能力评测结果

    英国 AI Safety Institute(AISI)发布对五个已公开使用的大语言模型(匿名化命名)的评测结果,覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。

    推荐理由:官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果,读者可以据此了解当前前沿模型在风险维度上的真实能力边界。

2024年3月15日周五
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 Devin 的 SWE-bench 技术报告

    Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

    推荐理由:Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

  2. METR:Research52

    METR 发布实验报告:测量 GPT-4 后训练增强对智能体能力的影响

    METR 发布初步实验报告,测量额外能力激发可能带来的智能体能力提升。在 195 个混合任务上,OpenAI 对 GPT-4 的后训练使智能体成功率从 5±2% 升至 30±6%(提升 26 个百分点),与从 GPT-3.5 Turbo 换到 GPT-4 的提升相当;METR 自身的改进(改提示词、更多工具、基于奖励模型的推理时计算)仅再提升 8 个百分点,未达统计显著。

  3. METR:Research52

    METR 发布前沿模型危险自主能力评估资源

    METR 公开了一套评估前沿模型危险自主能力的资源,包括任务套件、软件工具、能力引导指南和示例评估协议。任务难度覆盖从普通人几分钟到专业人类约一周的工作量,仅公开约 20 个示例任务源码以防训练数据污染;其初步测量显示后训练增强的影响与 GPT-3.5 Turbo 到 GPT-4 的性能差距在同一量级。协议目前为 beta 版,METR 计划持续迭代并征集反馈。

2024年3月12日周二
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 AI 软件工程师 Devin,SWE-bench 端到端解决 13.86% 问题

    Cognition 发布 AI 软件工程师 Devin,可规划并执行需要数千次决策的复杂工程任务,配备 shell、代码编辑器和浏览器等沙盒开发环境,并能实时汇报进度、接受反馈与用户协作。

    推荐理由:官方宣布 Devin 并给出 SWE-bench 13.86% 的成绩与具体能力示例,读者可据此评估智能体在真实工程任务中的可用性。

2024年2月29日周四
2024年2月13日周二
  1. Sierra:Blog44

    Sierra 发布面向企业的对话式 AI 平台,可构建自主 AI 智能体

    Sierra 发布面向企业的对话式 AI 平台,让每家公司都能构建自己的 AI 智能体。该平台已与 WeightWatchers、SiriusXM、Sonos、OluKai 等品牌合作,其中 WeightWatchers 的智能体已处理近 70% 的客户会话,满意度达 4.6/5。平台强调智能体可推理决策、调用企业系统采取行动,并提供审计与数据治理工具以保障合规与可信。

2024年2月8日周四
2024年1月30日周二
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 讲解 Agentic RAG:用多文档 Agent 构建可扩展的 RAG 架构

    LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。

    推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。

2024年1月25日周四
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 教程:用 LlamaIndex、Qdrant 和 Render 构建可学习的 Slack 机器人

    LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。

    推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。

2023年12月27日周三
  1. Andrej Karpathy:Blog

    Licklider 1960《人机共生》评述

    Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段,预测人机能力互补——计算机处理机械工作、人类负责思考,这一范式延续64年直至LLM打破界限。他预见云计算雏形,但误判技术路径:当时看好的逻辑推理AI成死胡同,而因缺乏数据被忽视的统计方法(LLM)终成主流。对交互预测也偏离现实:设想的多人协作大屏未普及,键盘鼠标仍是主导;对语音识别"5年实现"的乐观估计,实际耗时64年未成熟。

    推荐理由:Karpathy 借 1960 年文献反思人机共生与 AI 发展路径,历史洞察深刻

2023年12月20日周三
  1. PromptArmor:Threat Intelligence66

    PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞

    PromptArmor 披露 Writer.com 存在间接提示词注入漏洞:攻击者在网页中用白色小字隐藏指令,用户将该网页作为资料源后,LLM 会遵照隐藏指令渲染 markdown 图片或链接,把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。

    推荐理由:原文给出完整攻击链、复现细节和披露时间线,读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。

2023年12月6日周三
2023年11月29日周三
  1. LangChain:Blog61

    LangChain 撰文分析 OpenAI 押注 GPTs 与 Assistants API 背后的认知架构

    LangChain 撰文认为 OpenAI 开发者日发布的 GPTs 和 Assistants API 代表对封闭式 agent 认知架构的押注,即由 LLM 全权决定状态转移。文章指出当前真正可靠的应用多采用复杂链或状态机架构,并强调推送而非拉取上下文能带来更高可控性,同时提出开源认知架构与闭源之争将比模型之争更值得关注。

    推荐理由:文章把 GPTs 和 Assistants API 归纳为对封闭 agent 认知架构的押注,并结合 GPT-Researcher 等案例说明为何自定义架构更可控。

2023年10月16日周一