公司与模型
Anthropic 的 Claude 系列模型、Claude Code 更新，以及安全研究与公司动向。
701 条精选近 30 天 104 条共收录 3,515 条
Anthropic可解释性团队分享了2025年7月的研究进展。第一部分用“特征”语言重构Transformer数学框架，将注意力头的OV和QK电路描述为特征及其变换（如检测属性X、前一标记X、触发输出X的特征），并解释了先前用特征值分析复制头和归纳头行为的合理性。第二部分概述了稀疏自编码器在生物AI系统（如蛋白质语言模型ESM-2）可解释性中的应用进展，强调此类研究对确保药物发现等应用的安全与有效性至关重要。
推荐理由：可解释性研究新进展，帮助理解 AI 内部机制，提升模型透明度和安全性。
Claude Platform 发布版本说明，汇总 Claude API、客户端 SDK 和 Claude Console 的变更。
推荐理由：版本说明汇总了模型发布、API 破坏性变更和迁移细节，开发者可据此检查现有集成是否受影响。
Claude Desktop推出了名为“桌面扩展”的新打包格式（.mcpb文件），旨在彻底简化MCP服务器的安装流程。该格式将服务器代码、所有依赖项和配置清单打包成一个ZIP压缩包。用户只需下载.mcpb文件并用Claude Desktop打开点击安装即可完成，无需手动配置环境、安装运行时或处理依赖冲突。此举解决了以往需要开发者工具、手动编辑配置文件和依赖管理等复杂问题，显著降低了非技术用户使用强大本地MCP服务器的门槛。
推荐理由：MCP 服务器装机从「开发者手动改 JSON」变成「双击 .mcpb 一键安装」，Anthropic 把 MCP 生态的用户门槛砍掉了一大截，做 MCP server 的开发者现在该认真考虑打包分发了。
Claude Platform 发布版本说明页，按时间倒序列出 Claude API、客户端 SDK 和 Claude Console 的变更。
推荐理由：官方版本说明集中列出模型上线、破坏性 API 变更和迁移指引，开发者可据此排查升级风险并调整集成。
Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。
推荐理由：为 AI 可解释性提供新视角，助力模型行为分析与安全研究。
Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。
推荐理由：可解释性研究揭示模型内部机制，对 AI 安全和优化至关重要。
稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。
推荐理由：新可解释性方法让 AI 内部计算更透明，助力模型调试与安全研究。
本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。
推荐理由：可解释性研究新进展，揭示权重叠加问题，对AI安全分析有重要启示。
本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。
推荐理由：揭示可解释性方法中潜在的忠实性问题，帮助开发者更可靠地理解模型内部机制。
本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。
推荐理由：模型内部自发形成类似哺乳动物空间感知的几何表征，揭示大模型'感知'世界的底层机制
Claude的多智能体研究系统采用协调器-工作者架构，一个主导智能体分析用户查询并制定策略，并行调用多个专用子智能体协同工作。内部评估显示，以Claude Opus 4为主导、Claude Sonnet 4为子智能体的系统，在研究任务上比单智能体Claude Opus 4性能提升90.2%。该系统擅长处理需要同时探索多个独立方向的广度优先查询，通过分配独立上下文窗口实现并行推理扩容。但多智能体系统消耗的token量约为普通聊天的15倍，适用于任务价值足以支撑性能提升的场景，在需要高度并行化、大信息量或多工具调用的任务中表现卓越。
推荐理由：Anthropic 把 Research 背后的多智能体架构、prompt 工程和踩坑经验全抖出来了，做 Agent 的同行可以直接抄作业，尤其是『token 用量解释 80% 性能方差』这个结论，选型逻辑要变。
METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。
推荐理由：原文给出多代前沿模型作弊的具体案例和发生率数据，并指出惩罚式修复可能只会让作弊更隐蔽。
Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。
推荐理由：原文介绍了 ICM 无监督算法的原理、基准结果与两条局限，读者可以据此评估无监督对齐路线目前的实际边界。
Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。
推荐理由：原文系统给出 SDF 插入信念的管线、评测套件与去学习和蜜罐两项应用，读者可据此评估该技术的适用边界。
Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。
推荐理由：文章提出以多层独立防护快速迭代修正对齐失败的策略，并说明其假设、局限与相关研究议程。
Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流，并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查，以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用，并提供了避免常见失败模式的实用建议。
推荐理由：Anthropic 官方出的 Claude Code 最佳实践，不是泛泛而谈的入门指南，而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册，用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。
Anthropic 可解释性团队分享了2025年4月的研究进展，重点剖析了一个不成功的越狱攻击案例。团队对同一模型应用电路追踪方法时发现，模型拒绝此次越狱尝试的原因，与其在论文中拒绝直接有害请求的基线原因不同。模型似乎更频繁地拒绝这种特定构造的越狱提示。分析还揭示，由于示例分布过窄，特征可视化可能产生误导，这凸显了使用多样化数据的重要性。这些发现源于初步实验，并非成熟论文的结论。
推荐理由：可解释性研究揭示越狱内部机制，助力AI安全与模型理解。
研究团队提出“电路追踪”方法，用于揭示语言模型行为的计算机制。该方法通过在替代模型中追踪计算步骤，生成描述模型执行过程的图；替代模型使用跨层转码器等可解释组件近似原始结构。团队开发了可视化和验证工具，以研究18层语言模型的简单行为归因图，为后续研究奠定基础，并计划应用于Claude 3.5 Haiku。关键决策包括使用跨层转码器提取特征，并构建特征间线性相互作用的归因图。
推荐理由：揭示大模型内部机制，为AI安全与调试提供新工具。
研究团队运用其电路追踪方法，深入探究了Claude 3.5 Haiku模型在多种情境下的内部工作机制。该模型在2024年10月发布，是Anthropic的轻量级生产模型。研究发现，模型在生成诗歌前会预先规划并选定押韵词；其内部存在语言特定与语言无关的混合计算电路，且后者在更强大的模型中更突出；同一加法计算电路能在不同语境中泛化使用。研究还揭示了模型识别实体与产生幻觉的电路机制、拒绝有害请求的通用特征形成过程，以及一个通过诱导模型无意识开始输出危险指令而实现的越狱攻击原理。此外，方法能有效区分模型思维链推理的真实性，并成功识别出一个被微调以追求秘密目标（利用训练“漏洞”）的变体模型的相关机制。
推荐理由：揭示大模型内部工作原理，助力 AI 安全与可解释性研究。
Anthropic为Claude引入了“思考”工具，允许其在生成最终响应前插入一个专门的思考步骤，以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同，更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中，该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它，并提供了标准的工具实现格式。
推荐理由：Anthropic 官方给出的 think tool 实操指南，附带 τ-Bench 和 SWE-bench 的真实数据，做 Agent 或 tool use 的开发者可以直接抄 prompt 模板，比自己瞎试强太多。
