CORE-Bench 基准发布：AI 复现论文能力测试准确率仅 22%
研究人员推出 CORE-Bench 基准，用于衡量 AI 自动化复现论文计算结果的能力。该基准包含 90 篇论文，设三个难度等级。测试中，基于 GPT-4o 的专用智能体 CORE-Agent 在最高难度等级上准确率仅达 22%。
全部 AI 动态
AI as Normal TechnologyAI 评分5757
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
OpenAI：官网动态AI 评分5454 OpenAI 发布人工校验版 SWE-bench Verified 评测集
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
METR：ResearchAI 评分5858 METR 更新通用自主能力评测：新增约 50 个任务并测试 GPT-4o 与 Claude 智能体
METR 发布通用自主能力评测的中期研究更新，新增约 50 个自动评分任务，涵盖网络安全、软件工程和机器学习技能。基于 GPT-4o 和 Claude 3.5 Sonnet 的智能体完成任务水平约相当于人类基线者 30 分钟的工作量，任务难度跨度从不到 5 分钟到超过 16 小时；智能体性能在约 20 万 token 处趋平，而在双方都能完成的任务上，智能体成本约为人力的 1/30。
Johann Rehberger / Embrace The RedAI 评分5252 Google Colab Gemini 图像渲染数据外泄漏洞已修复，但提示注入仍可借链接窃取数据
作者披露其于 2023 年 11 月报告的 Colab AI 图像渲染数据外泄漏洞：系统提示词禁止渲染图片可被轻松绕过，通过拼接 markdown 图片链接把聊天内容外传，Google 已确认并修复该漏洞但未发放奖励。
OpenAI：官网动态AI 评分4747 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，无需大量人工数据采集即可让模型行为安全对齐。
Sierra：Blog精选AI 评分6363 Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
OpenAI：官网动态AI 评分4040 OpenAI 提出训练一致性模型的改进技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI：官网动态精选AI 评分6767 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。
推荐理由：原文说明用可扩展稀疏自编码器自动从 GPT-4 中提取概念，读者可借此了解模型可解释性研究的进展方向。
英国 AI Security Institute：Blog精选AI 评分6666 英国 AISI 发布五款公开 LLM 先进能力评测结果
英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。
推荐理由：官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果，读者可以据此了解当前前沿模型在风险维度上的真实能力边界。
英国 AI Security Institute：Blog精选AI 评分6363 高级 AI 安全国际科学报告发布中期版，由 Yoshua Bengio 主持
英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。
推荐理由：报告由 Yoshua Bengio 主持、AISI 协调，读者可借此了解学界对高级 AI 风险的共识与分歧。
OpenAI：官网动态AI 评分5252 OpenAI 提出指令层级，训练 LLM 优先处理特权指令
OpenAI 发布《The Instruction Hierarchy》，训练 LLM 优先处理特权指令。原文指出当今 LLM 易受提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原始指令。
Hugging Face 社区博客AI 评分5454 Hugging Face 发布 Cosmopedia：如何为 LLM 预训练创建大规模合成数据
Hugging Face 发文介绍 Cosmopedia，讲解如何创建用于大语言模型预训练的大规模合成数据。正文抓取失败，仅标题可用。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
METR：ResearchAI 评分5252 METR 发布实验报告：测量 GPT-4 后训练增强对智能体能力的影响
METR 发布初步实验报告，测量额外能力激发可能带来的智能体能力提升。在 195 个混合任务上，OpenAI 对 GPT-4 的后训练使智能体成功率从 5±2% 升至 30±6%（提升 26 个百分点），与从 GPT-3.5 Turbo 换到 GPT-4 的提升相当；METR 自身的改进（改提示词、更多工具、基于奖励模型的推理时计算）仅再提升 8 个百分点，未达统计显著。
METR：ResearchAI 评分5252 METR 发布前沿模型危险自主能力评估资源
METR 公开了一套评估前沿模型危险自主能力的资源，包括任务套件、软件工具、能力引导指南和示例评估协议。任务难度覆盖从普通人几分钟到专业人类约一周的工作量，仅公开约 20 个示例任务源码以防训练数据污染；其初步测量显示后训练增强的影响与 GPT-3.5 Turbo 到 GPT-4 的性能差距在同一量级。协议目前为 beta 版，METR 计划持续迭代并征集反馈。
Hugging Face 社区博客AI 评分5252 Hugging Face 推出 TTS Arena：实战对比文生语音模型
Hugging Face 推出 TTS Arena，一个在真实使用中对比评测文生语音（TTS）模型的基准平台。正文抓取失败，仅标题可用，更多细节以原文链接 https://huggingface.co/blog/arena-tts 为准。
OpenAI：官网动态AI 评分5454 OpenAI 构建 LLM 辅助生物威胁生成的早期预警评估方案
OpenAI 正在开发评估大语言模型可能协助制造生物威胁风险的蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁创建准确性的提升至多为轻度。该 uplift 幅度尚不足以得出结论，但可作为后续研究和社区讨论的起点。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
OpenAI：官网动态AI 评分5353 OpenAI 提出弱到强泛化的超对齐研究方向
OpenAI 提出面向超对齐（superalignment）的新研究方向：能否利用深度学习的泛化特性，用弱监督者来控制强模型，并给出了初步结果。
LlamaIndex：产品、工程与评测AI 评分5252 NVIDIA 研究解读：检索增强与长上下文 LLM 的对比与结合
LlamaIndex 解读 NVIDIA 研究，用 Nemo GPT-43B（扩展至 16K）与 LLaMA2-70B（扩展至 16K/32K）在 7 个数据集上比较检索增强与长上下文扩展。
OpenAI：官网动态精选AI 评分8383 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。
METR：ResearchAI 评分5656 METR 发布首份公开报告：评测语言模型智能体在真实自主任务上的表现
METR 的 ARC Evals 团队发布首份公开报告，提出评估 LLM 智能体“自主复制与适应”（ARA）能力的方法。研究设计了 12 个难度递增的真实任务，如搜索文件、用 Twilio 打电话、部署 GPT-J、微调 LLaMA-7B 扩展上下文等，并构建 4 个基于 GPT-4 和 Claude 的脚手架智能体进行测试。
OpenAI：官网动态精选AI 评分7373 OpenAI 用过程监督提升数学推理，取得新 SOTA
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
LlamaIndex：产品、工程与评测AI 评分5858 LlamaIndex 实验：较弱的 LLM Agent 需要更多约束和更强的工具
LlamaIndex 在三份 Uber 2022 年 10-Q 财报上比较了复杂无约束的 ReAct agent 与简单路由 agent 的查询效果。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现
LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。
推荐理由：作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量，并给出 tree_summarize 优于 create-and-refine 的可复用结论。
OpenAI：官网动态AI 评分5757 OpenAI 用 GPT-4 自动解释语言模型中的神经元并发布 GPT-2 数据集
OpenAI 用 GPT-4 为大语言模型中神经元的行为自动编写解释，并对这些解释进行评分。同时发布了覆盖 GPT-2 每个神经元的解释与评分数据集，OpenAI 自述这些解释并不完美。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布 GPTs are GPTs 论文，初步分析大语言模型的劳动力市场影响潜力
OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models，对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败，仅标题可用，论文具体方法与结论暂无法核验。
推荐理由：OpenAI 论文标题直指大语言模型对劳动力市场影响的早期评估，适合关注 AI 就业议题的读者。
OpenAI：官网动态AI 评分4949 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究语言模型被用于虚假信息活动的潜在风险
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被滥用于虚假信息活动的风险。合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会，并基于一年多的研究共同撰写报告。报告梳理了语言模型若被用于增强虚假信息活动对信息环境构成的威胁，并提出分析潜在缓解措施的框架。
Hugging Face 社区博客精选AI 评分6565 Hugging Face 发布 MTEB 大规模文本嵌入基准与排行榜
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。
推荐理由：原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组，可用于按任务挑合适的嵌入模型。
Hugging Face 社区博客精选AI 评分6969 Hugging Face 联合 Intel Labs 与 UKP Lab 发布少样本文本分类框架 SetFit
Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。
推荐理由：原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本，读者可以据此评估小样本场景下是否用它替代大模型微调。
Anthropic：Transformer Circuits精选AI 评分6565 Anthropic 发表 Toy Models of Superposition 论文，演示神经网络的特征叠加现象
Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
推荐理由：论文用小型 ReLU 网络直接演示了特征叠加现象，并给出相变和几何结构的理论解释，为理解神经元多义性提供了可参考的框架。
OpenAI：官网动态精选AI 评分6262 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft 并合成钻石工具
OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。
推荐理由：原文说明 VPT 用少量标注数据配合海量无标注视频训练模型，读者可了解这种半监督路线对训练通用智能体的参考价值。
OpenAI：官网动态AI 评分4747 OpenAI 训练“写批评”模型，帮助人类发现摘要缺陷
OpenAI 训练了“critique-writing”模型，用于描述摘要中的缺陷；人类评估者在看到模型批评后，发现摘要缺陷的频率大幅提高。更大模型的自批评能力更强，规模对批评写作的提升超过摘要写作。这显示出用 AI 系统辅助人类监督 AI 系统完成困难任务的潜力。
Hugging Face 社区博客AI 评分4646 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
OpenAI：官网动态AI 评分5252 OpenAI 构建神经定理证明器求解部分形式化数学奥赛题
OpenAI 构建了一个基于 Lean 的神经定理证明器，能求解多种有挑战性的高中奥赛题，包括 AMC12 和 AIME 竞赛题，以及两道由 IMO 改编的题目。
OpenAI：官网动态AI 评分5757 OpenAI 发布 WebGPT：通过浏览器检索提升语言模型事实准确性
OpenAI 对 GPT-3 进行微调，得到 WebGPT，使其借助基于文本的网络浏览器更准确地回答开放式问题，以提升语言模型的事实准确性。
OpenAI：官网动态AI 评分5454 OpenAI 发布《Summarizing books with human feedback》研究
OpenAI 发布《Summarizing books with human feedback》研究，主题是扩展对难以评估任务的 AI 系统的人类监督。来源为官网 RSS 摘要，正文未提供更多实验细节。
OpenAI：官网动态AI 评分5959 OpenAI 发布 TruthfulQA 基准，衡量模型模仿人类虚假说法的程度
OpenAI 在官网发布 TruthfulQA，一个衡量语言模型是否会模仿人类常见虚假说法的基准。
OpenAI：官网动态精选AI 评分6666 OpenAI 发表针对代码训练大语言模型的评估研究
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）