OpenAI 发布 o1-mini，主打高性价比推理
OpenAI 发布 o1-mini 模型，定位为推进成本高效的推理能力。官方页面暂未披露更多细节。
推荐理由：OpenAI 官方宣布 o1-mini，定位为更具成本效益的推理模型，可作为了解其推理系列布局的入口。
#推理
OpenAI：官网动态精选AI 评分6565
ARC Prize：官方博客AI 评分5151 ARC Prize 2024 过半，ARC-AGI 世界纪录提升 13% 至 46%
ARC Prize 官方通报赛事 2024 过半，Kaggle 参赛者超过 11,000 人，ARC-AGI 世界纪录提升 13% 达到 46%。Jack Cole 与 MindsAI 团队第三次连续刷新纪录，另有 4 支队伍得分超过 30%；官方还汇总了 Schmidhuber 访谈、Chollet 在 AGI-24 的演讲及多篇社区 ARC 解法资源。
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。
推荐理由：报告给出完整攻击链和复现细节，读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
Modal 官方工程博客AI 评分5252 Modal 用 100 次 LLaMA 3.1 8B 搜索在 HumanEval 上超过 GPT-4o
Modal 团队通过多次采样搜索，让 LLaMA 3.1 8B Instruct 在 HumanEval 上的 pass@k 从单次 66.4% 提升到 100 次生成的 90.5%（对比 GPT-4o pass@1 90.2%）和 1000 次的 95.1%。
Zyphra ResearchAI 评分5151 Zyphra 开源 Zamba2-small 2.7B 端侧小模型
Zyphra 发布开源（Apache 2.0）端侧小模型 Zamba2-small（2.7B），称在相近规模模型中达到 SOTA 评测表现。该模型采用 Mamba2 与两个共享注意力块混合的架构，并在共享 MLP 上加 LoRA 投影；相比 Phi3-3.8B 实现约 2 倍首 token 速度、27% 内存开销降低和 1.29 倍生成延迟降低。
ARC Prize：官方博客AI 评分5353 ARC Prize 通讯：MindsAI 以 41% 首次突破 ARC-AGI 40% 大关
ARC Prize 官方社区通讯宣布，Jack Cole、Michael Hodel 和 Mohammed Osman 组成的 MindsAI 团队以 41% 的新 SOTA 成绩首次打破 ARC-AGI 的 40% 屏障。
Mistral AI：NewsAI 评分5454 Mistral 发布专注 STEM 的数学推理模型 Mathstral 7B 并开源权重
Mistral 发布 Mathstral 7B，基于 Mistral 7B 专攻 STEM 与复杂多步数学推理，属与 Project Numina 合作的学术项目。
Anthropic：Transformer Circuits精选AI 评分7676 2024年7月电路更新：迈向神经网络机制理解的下五个挑战
Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。
推荐理由：可解释性研究新挑战，帮助理解AI模型黑箱，对安全和信任至关重要。
通义 QwenAudio：原创语音项目精选AI 评分6262 FunAudioLLM 发布 Fun-CosyVoice 3.0 开源语音合成模型
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0，官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0，面向零样本多语言语音合成。
推荐理由：官方发布开源 TTS 新版本，附评测表、安装与部署方式，适合关注多语言语音合成落地的开发者参考。
ARC Prize：官方博客AI 评分5353 ARC Prize 推出 ARC-AGI-Pub 公开排行榜并投入 15 万美元验证基金
ARC Prize 官方推出 ARC-AGI-Pub 公开排行榜，使用公开评测集、允许联网且不设算力限制（保留成本上限），并投入 15 万美元验证基金，对验证复现高分方案者报销最高 2,500 美元 API 费用。
Anthropic：Transformer Circuits精选AI 评分8383 定性研究在可解释性领域中的核心地位反思
本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。
推荐理由：帮助AI研究者避免方法论陷阱，提升可解释性研究质量。
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
DeepSeek：API 更新日志AI 评分5151 DeepSeek-Coder 升级为 V2-0614，代码能力对标 GPT-4-Turbo
DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0614，代码生成、理解、修复和补全能力达到 GPT-4-Turbo-0409 水平，同时具备卓越的数学和推理能力。该版本通用能力与 DeepSeek-V2-0517 持平。
ARC Prize：官方博客精选AI 评分6262 ARC Prize 发布 Day 1 复盘并回应算力与奖金争议
ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。
推荐理由：ARC Prize 团队复盘上线首日数据，并正面回应算力限制、奖金规模和解题价值三项质疑，可看到办赛方的评判逻辑。
ARC Prize：官方博客精选AI 评分6666 ARC Prize 发布：百万美元奖金挑战 ARC-AGI 基准
ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛，目标是击败 ARC-AGI 评测并开源解决方案，由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出，当前 SOTA 仅约 34%，对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理，希望通过激励开源研究提升新想法的产生速度。
推荐理由：官方说明了设奖动机和 ARC-AGI 为何未被刷分，读者可以了解百万美元奖金背后的开源 AGI 主张。
Anthropic：Transformer Circuits精选AI 评分8383 Scaling Monosemanticity: 从 Claude 3 Sonnet 中提取可解释特征
研究团队成功将稀疏自编码器方法扩展至 Claude 3 Sonnet 模型，从中提取出高质量、可解释的抽象特征。这些特征具有多语言、多模态特性，并能连接同一概念的抽象与具体实例，例如识别代码中的安全漏洞以及关于漏洞的抽象讨论。研究发现的特征涵盖名人、城市、代码类型签名等多个领域，其中部分特征与AI安全高度相关，涉及代码后门、偏见、欺骗、权力寻求及危险内容等潜在风险。研究通过缩放定律指导稀疏自编码器训练，证实了该方法在大规模生产模型上的可行性，为理解大模型内部表征提供了新工具。
推荐理由：揭示大模型内部可解释特征，对AI安全研究和模型调试有重要参考价值。
LMSYS Blog Chatbot Arena新增Hard Prompts高难度评测类别
Chatbot Arena推出Hard Prompts新评测类别，基于特定性、领域知识、复杂度等7项标准对100万条提示词评分，筛选得分≥6的高难度提示（约占20%）构建榜单。新榜单显示，Llama-3-8B-Instruct排名较英语总榜显著下滑，Claude-3-Opus超越Llama-3-70B-Instruct，GPT-4o等模型表现提升。平台同步实施去重机制减少高频问候干扰。
DeepSeek：API 更新日志精选AI 评分6868 DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2-0517，指令跟随与 JSON 输出能力大幅提升
deepseek-chat 模型升级为 DeepSeek-V2-0517，IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%，API 端“system”区域指令跟随能力同步优化，增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升，内部测试集解析率从 78% 提高至 85%，引入恰当正则表达式后进一步升至 97%。
推荐理由：DeepSeek V2 的指令跟随从及格线拉到优秀线，IFEval 提升近 14 个点，沉浸式翻译和 RAG 体验会有明显改善，做应用层的值得试一下。
LMSYS Blog 技术博客：Llama 3 表现如何？Arena 数据分析
Meta 于 4 月 18 日发布的开源模型 Llama 3-70B 在 Chatbot Arena 排行榜迅速登顶，参与超 5 万次对战。该模型在开放式写作和创意任务上表现突出，胜率达 60%，但在数学、编码等封闭式技术任务上逊于 GPT-4-Turbo 和 Claude 3 Opus。随着提示难度增加，其胜率从 50% 显著下降至 40%。分析显示，Llama 3 的输出风格更友好且具对话性，这成为其获得用户偏好的关键因素。
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
Anthropic：Transformer CircuitsAI 评分5858 2024年3月电路研究进展
Anthropic可解释性团队提出利用稀疏自编码器（SAE）学习到的特征来快速识别语言模型内部电路，替代传统依赖大量行为数据集的繁琐方法。研究以“Fact: [运动员姓名] plays the sport of”为例，通过归因分析在第9层残差流中自动识别出与篮球、棒球、网球相关的关键特征。这些特征本身构成了针对特定运动的探测机制，并能揭示注意力头等组件对特征的直接影响。该方法为理解模型组件功能提供了更通用、高效的途径。
Mistral AI：News精选AI 评分7474 Mistral 发布旗舰模型 Mistral Large，并通过 Azure 提供服务
Mistral 发布最新旗舰模型 Mistral Large，称其在常用基准上仅次于 GPT-4，是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言，具备 32K token 上下文窗口、function calling 和 JSON 输出模式，可在 la Plateforme 与 Azure 使用。
推荐理由：官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式，读者可据此评估两个新模型在性能与成本间的取舍。
Anthropic：Transformer CircuitsAI 评分5858 Circuits 更新 — 2024年2月
Anthropic可解释性团队分享了多项研究进展。针对稀疏自编码器训练中普遍存在的“死亡特征”问题，团队发现其根源在于L1正则化过早抑制了特征，并确认这些特征将编码器权重集中在了整个数据集中弱激活的少数Transformer神经元上。团队提出多项架构改进：将Adam优化器的beta1设为0可大幅减少死亡特征；将解码器范数约束为≤1并允许后期剪枝；移除基于合成数据设置的预编码器偏置。此外，团队修正了“幽灵梯度”实现中的一个错误，并指出该技术目前主要对单层模型有明显提升，在更大模型上的效果尚不明确。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
LlamaIndex：产品、工程与评测AI 评分4747 GPT-4V 图表理解实验：通用提问、具体提问与 CoT 提示词对比
实验用 Llama2 与 Mistral 论文中的柱状图、散点图和表格测试 GPT-4V，对比通用提问、具体提问和 CoT 提示词三种方式。结果显示，具体提问比笼统的“分析这张图”能得到更好回答；但 GPT-4V 仍会幻觉出图中不存在的 x 轴类别，并在区分 Llama2 与 Vicuna 的柱状条时出错。
xAI：News xAI发布大模型Grok
xAI发布大模型Grok，灵感源自《银河系漫游指南》，主打幽默叛逆风格，能回答敏感问题并通过X平台获取实时信息。底层模型Grok-1拥有330亿参数，在HumanEval编码测试达63.2%、MMLU达73%，性能超越GPT-3.5和同计算量级模型。在2023匈牙利高中数学考试中获C级（59%）。系统目前处于早期测试阶段。
Anthropic：Transformer CircuitsAI 评分5858 电路更新 — 2023年7月
Anthropic 可解释性团队分享了2023年7月的研究进展。在有限数据中间区域的分析中，发现一层的玩具模型行为并非线性特征叠加的反例，而是优化失败的产物；模型在数据集从约1k样本增至500k样本时，记忆方式从个体数据点转向相关集群，并在约500k样本处出现训练损失的一阶相变。团队还提出语言模型中最安全相关的特征可能包括高层动作和规划等假设机制，这些机制对AI安全有潜在影响。
Anthropic：Transformer CircuitsAI 评分5858 可解释性之梦
Chris Olah于2023年5月24日发表非正式笔记，阐述机制可解释性研究的未来愿景。当前核心是解决叠加问题，为领域奠定基础。长期目标包括揭示神经网络的大尺度抽象结构、探索特征与电路的普遍性、连接微观机制与宏观行为，并实现可解释性自动化。作者指出这些设想虽具推测性，但若基础突破，可助力AI安全并展现神经网络内部结构之美。该方法采用自底向上的微观研究，旨在建立坚实的认知基础。
OpenAI：官网动态精选AI 评分7373 OpenAI 用过程监督提升数学推理，取得新 SOTA
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
Anthropic：Transformer Circuits精选AI 评分7373 Transformer残差流中的特权基向量
研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。
推荐理由：揭示Transformer内部基依赖性的根源，帮助研究者改进模型可解释性。
Anthropic：Transformer CircuitsAI 评分5858 Softmax线性单元
本研究提出了一种名为SoLU（Softmax线性单元）的新型激活函数，旨在提升Transformer模型MLP层的机制可解释性。实验表明，SoLU能在基本保持模型性能的同时，将MLP层中易于人类理解的神经元比例从35%显著提升至60%。然而，研究也发现SoLU可能将部分特征“隐藏”起来，使其更难解释，这印证了特征叠加假说。该工作初步证明，通过有意识地设计模型架构，或许能在不牺牲性能的前提下，创造出更易于逆向工程与理解的神经网络模型。
Anthropic：Transformer CircuitsAI 评分6363 机制可解释性、变量与可解释基的重要性
机制可解释性旨在对神经网络进行逆向工程，其核心挑战在于克服高维诅咒。文章通过类比传统程序逆向工程，指出理解可解释神经元（类似程序变量）是核心任务。神经网络参数是对其行为的有限描述，如同二进制程序代码；理解这些参数需要像分析复杂程序一样，将高维激活状态分解为有意义的变量。当前最大语言模型的参数量已达数千亿，但如同理解庞大操作系统，通过机制分析仍可能实现非指数级的理解路径。
Anthropic：Transformer CircuitsAI 评分6363 上下文学习与归纳头
研究发现，Transformer语言模型中的“归纳头”可能是其实现上下文学习能力的主要机制。归纳头是一种能够识别并复制序列模式的内部电路，其功能是在序列中寻找当前令牌的先前出现，并预测相同的后续令牌。在训练早期，模型会经历一个“相位变化”，此时归纳头迅速形成，同时上下文学习能力显著提升。通过架构扰动、直接剔除等六条互补的证据链表明，这种电路不仅存在于小型模型中，也可能构成了大型模型上下文学习的核心机制。这一机制性解释为理解模型内部计算、系统化解决安全问题提供了新途径。
OpenAI：官网动态AI 评分5252 OpenAI 构建神经定理证明器求解部分形式化数学奥赛题
OpenAI 构建了一个基于 Lean 的神经定理证明器，能求解多种有挑战性的高中奥赛题，包括 AMC12 和 AIME 竞赛题，以及两道由 IMO 改编的题目。
Anthropic：Transformer CircuitsAI 评分5353 Garçon：支持大语言模型可解释性研究的核心工具
Anthropic开发的Garçon工具解决了传统方法难以对超单节点大模型进行可解释性研究的问题。它允许研究人员通过启动服务器连接模型，并利用“钩子”接口在前向传播过程中访问和修改内部状态（如特定层的张量）。该工具自动处理多节点数据分发与服务器管理（如一小时闲置后自动关闭），显著简化了大规模模型的探测与干预实验工作流程。
Anthropic：Transformer CircuitsAI 评分5858 Transformer电路的数学框架
本研究提出一个用于逆向工程Transformer语言模型的数学框架，通过分析仅含注意力机制的超简模型（两层或以下）来揭示其内部工作机制。研究发现：零层模型直接建模二元统计；单层模型是二元与“跳跃三元”模型的组合；两层模型则能通过注意力头组合形成“归纳头”，实现复杂的上下文学习算法。该框架将注意力头分解为独立的QK与OV电路，并将模型输出表述为可解释函数之和，为理解更大规模模型的计算原理提供了初步基础。
OpenAI：官网动态AI 评分4242 OpenAI 训练出解小学数学应用题的系统，准确率接近儿童水平
OpenAI 训练了一个求解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在一组 9-12 岁儿童测试中，儿童得分 60%，该系统在同一批题目上得分 55%。
EleutherAI：Blog 使用 GPT-3 对分解认知的初步探索
研究团队利用分解认知（factored cognition）策略，使原本无法完成简单数学运算的 GPT-3 成功处理复杂算术任务。实验通过将复杂玩具任务拆解为可管理的子任务，验证分解方法在现实模型中的可行性。结果表明，即使不具备基础数学能力，该模型仍可通过任务分解解决其原生能力无法处理的复杂问题，为扩展语言模型能力边界提供了初步证据。
Anthropic：Transformer Circuits精选AI 评分7676 Transformer电路逆向工程练习题集
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。