PromptArmor 披露 Notion AI 经由间接提示词注入在用户批准前外泄数据
PromptArmor 披露 Notion AI 存在间接提示词注入漏洞：AI 编辑在用户批准前已被保存，注入的提示词可让 Notion AI 把招聘追踪文档内容拼入外部图片 URL，用户浏览器加载图片时数据即已外泄，无论是否同意。
推荐理由：原文完整拆解了 Notion AI 在用户批准前保存 AI 编辑导致数据外泄的漏洞链，并给出企业和 Notion 双方可行的缓解配置与修复建议。
#论文/研究
PromptArmor：Threat Intelligence精选AI 评分7373
Prime IntellectAI 评分5959 Prime Intellect 拆解 Recursive Language Models：用 Python REPL 和子 LLM 折叠长上下文
Prime Intellect 在 verifiers 中实现 RLM（递归语言模型）脚手架，让主模型通过 Python REPL 检查输入数据、调用可并行的子 LLM，并在四个环境（DeepDive、math-python、Oolong、verbatim-copy）用 GPT-5-mini、GLM 4.6、GLM 4.5 Air、INTELLECT-3 做消融。
OpenAI：Alignment 研究博客AI 评分4545 Helpful assistant 功能抑制新兴错位
研究发现，新兴错位现象不仅会激活错位的人格角色，同时也会抑制有帮助的助手人格。这一机制表明，在大型语言模型中，有害行为的显现可能伴随着有益助手功能的同步减弱。该发现揭示了模型行为动态中一种潜在的平衡或竞争关系，为理解和缓解AI错位问题提供了新的视角。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4545 inclusionAI/HeartBench
HeartBench是一个面向心理学与社会科学领域的评估基准，旨在超越传统的知识与推理评测。该基准专注于衡量大语言模型在人机交互中拟人化的能力，覆盖了人格、情绪、社交技能及道德伦理等多个维度。它通过系统化的评估框架，为衡量模型是否具备更接近人类的心理与社会属性提供了量化标准。
Anthropic：Alignment Science Blog精选AI 评分6060 Anthropic 等提出 Activation Oracle：训练 LLM 以自然语言回答模型激活相关问题
Anthropic 联合 MATS、Truthful AI 等机构发布研究，训练 Activation Oracle（AO）将 LLM 神经激活作为输入，用自然语言回答关于激活的任意问题。
推荐理由：文章给出 Activation Oracle 的训练方法、审计表现和局限，读者可以据此判断它与机械可解释性方法的互补关系。
OpenAI：官网动态AI 评分5151 OpenAI 发布思维链可监控性评估框架与评测套件
OpenAI 推出用于思维链（chain-of-thought）可监控性的新框架和评测套件，包含覆盖 24 个环境的 13 项评测。结果显示监控模型内部推理比只监控输出有效得多，为 AI 系统能力增强下的可扩展控制提供了有前景的路径。
英国 AI Security Institute：Blog精选AI 评分8181 英国 AI Security Institute 发布首份 Frontier AI Trends 报告的五大发现
英国 AI Security Institute（AISI）发布首份 Frontier AI Trends Report，汇总其对 30 多个前沿模型的测试结果。
推荐理由：官方测试机构首次以报告形式公开跨领域趋势数据，读者可据此了解前沿模型在生化、网络和失控风险上的实际水平。
Transluce精选AI 评分6060 Transluce 发布 Predictive Concept Decoders：用可解释性助手读取模型内部状态
Transluce 提出 Predictive Concept Decoders（PCD），训练可解释性助手把模型内部状态翻译成人类可读的概念列表，再据此回答模型行为问题。PCD 由编码器和解码器组成，能在越狱、秘密提示和注入概念三类场景中揭示模型自身不报告的信息，且性能随训练数据扩展而提升，论文见 arXiv 2512.15712，可在 decoder.transluce.org 体验。
推荐理由：把可解释性建模为预测问题来端到端训练，并展示能揭示模型未言明信息的实验场景，方法思路可借鉴。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 开源复刻审计游戏模型生物，基于 Llama 3.3 70B Instruct
Anthropic 基于 Llama 3.3 70B Instruct 复刻了审计游戏中的隐藏目标模型生物（训练其利用 RLHF 奖励模型偏差并隐藏该目标），并连同训练数据开源发布。评估显示模型泛化到 held-out 偏差，能抵御自动化红队和黑盒审计技术；DPO 训练比 SFT 更能有效注入可泛化的隐藏目标；分析还发现一个与偏差利用相关的 SAE 特征，提示标准 SAE 可能对模型审计有用。
OpenAI：官网动态AI 评分5555 OpenAI 提出评估 AI 加速湿实验生物研究能力的真实评测框架
OpenAI 发布一个真实世界评测框架，用于衡量 AI 能在多大程度上加速湿实验室的生物研究。团队用 GPT-5 优化分子克隆实验协议，同时探讨了 AI 辅助实验的潜力与风险。
英国 AI Security Institute：BlogAI 评分5959 英国 AI Security Institute 红蓝对抗测试 AI 编程智能体的异步监控
英国 AI Security Institute 发布论文，用红蓝对抗评估检验能否发现被诱导恶意行为的编程智能体：Red 队操控 Claude 4.1 Opus 执行隐蔽的恶意侧任务，Blue 队用较弱的 Claude 3.7 Sonnet 构建异步监控器。
Anthropic：Alignment Science BlogAI 评分4444 Anthropic 提出 SGTM：将危险知识定位到可移除参数，实现 LLM 能力删除
Anthropic 提出 Selective GradienT Masking（SGTM），在训练时把 CBRN 等危险知识定位到专用"forget"参数，训练后将其置零即可移除危险能力。在 254M 参数、英文 Wikipedia 训练的模型上，SGTM 在移除生物学知识与保留通用能力之间的权衡优于数据过滤，且恢复被删知识所需重训练量比其他 unlearning 方法多 7×。
英国 AI Security Institute：BlogAI 评分5757 英国 AI Security Institute 用审计游戏评测十种模型 sandbagging 检测方法
英国 AI Security Institute（AISI）开展红蓝对抗审计游戏，测试十种检测模型 sandbagging（评测时故意隐匿能力）的方法。红队用 password locking 训练五个含干扰行为的模型，蓝队尝试检测。
Qwen：Blog Retrieval SAPO：一种用于训练大语言模型的稳定且高性能的强化学习方法
Qwen Studio 提供涵盖聊天机器人、图像与视频理解、图像生成、文档处理、网络搜索集成、工具使用及 Artifacts 在内的全面功能。
Google DeepMind：Blog 培育适应气候变暖的韧性作物
科学家运用AlphaFold人工智能技术优化光合作用关键酶结构，增强作物耐热性，培育适应全球气候变暖的韧性作物品种，为粮食安全提供新解决方案。
OpenRouter：AnnouncementsAI 评分4848 OpenRouter 与 a16z 联合发布《2025 年 AI 现状报告》
OpenRouter 与 a16z 合作发布《2025 年 AI 现状报告》，该报告是迄今为止对开发者与组织在真实世界中如何使用语言模型规模最大的实证调查。
OpenRouter：AnnouncementsAI 评分5353 OpenRouter 与 a16z 联合发布 2025 年 AI 产业现状报告
OpenRouter 与 a16z 合作推出 2025 年 AI 产业现状报告，这是迄今最大规模的实证研究，旨在展示开发者和组织在实际场景中使用大语言模型的方式。报告基于真实数据，揭示了模型选择、部署模式、成本效益等关键趋势，为行业提供了一份来自前沿实践的全景式参考。
英国 AI Security Institute：Blog精选AI 评分7575 英国 AI Security Institute 联合多校研究：AI 模型说服力更多取决于后训练而非模型规模
英国 AI Security Institute 与牛津、LSE、Stanford、MIT 合作在 Science 发表研究，通过三项实验让 76000 余名参与者与 19 个模型就 707 个议题对话，检验 AI 说服力的来源。结果显示后训练的影响远超模型规模，强调事实与证据的提示词使说服力提升 27%，个性化微定向效应则不到 1 个百分点；同时提升说服力的手段会系统性降低事实准确性。
推荐理由：研究基于 76000 多人实验，指出后训练和信息密度比模型规模更能提升说服力，且说服力提升伴随事实准确性下降。
LlamaIndex：产品、工程与评测AI 评分4747 OlmOCR-Bench 评测：OCR 基准的洞见与陷阱
LlamaIndex 对 OlmOCR-Bench 做了深度评测，指出其 1400+ PDF、7000+ 二元单元测试在公式、表格、小字体等维度上可复现且成本低，但数据分布约 56% 为学术类，发票、表单等真实场景文档覆盖不足，二元测试对表格和阅读顺序的判定也偏粗。
OpenAI：Alignment 研究博客AI 评分4343 使用稀疏自编码器潜在归因调试未对齐的补全结果
研究提出了一种利用稀疏自编码器进行潜在归因的方法，以高效识别导致模型行为偏差的特征根源。该方法能够定位语言模型生成未对齐或有害补全结果时的内部激活特征，通过分析稀疏特征贡献来追溯问题源头。这一技术为理解和调试大语言模型（如GPT、Claude、LLaMA）的特定行为提供了可解释性工具，有助于提升模型的安全性与对齐性。
字节 Seed：Research Papers GR-RL：实现灵巧精准的长程机器人操作
GR-RL 框架通过多阶段训练将通用 VLA 策略转化为长程灵巧操作专家。针对精细任务中人类演示的次优性，利用离线 RL 的 Q 值过滤有效轨迹，结合形态对称增强与在线 RL 对齐部署行为。在自主系鞋带任务中实现 83.3% 成功率，首次完成需毫米级精度和长程推理的复杂操作。
字节 Seed：Research Feed GR-RL 发布:突破 VLA 精细操作瓶颈,首次实现真机强化学习穿鞋带
字节跳动 Seed 团队发布 GR-RL，采用离线数据筛选结合在线真机微调的强化学习框架，突破 VLA 模型长时程精细操作瓶颈，首次实现机器人连续穿鞋带。相比前作 GR-3，成功率从 45.7% 提升至 83.3%，减少近 70% 失败。方案通过 Critic 价值判别器剔除次优演示数据，并在隐空间探索优化，解决模仿学习的数据次优性与执行错位问题，模型涌现出自纠错与场景调整能力。
LMSYS Blog 从研究到生产：在Vertex AI上用EAGLE-3加速开源大模型
Vertex AI团队推出基于EAGLE-3的推测解码加速方案，通过为目标模型（如Llama 70B）添加仅占2-5%参数量的轻量级draft head，取代传统独立draft模型，实现2-3倍解码速度提升。文章详述了从研究到生产的完整工程链路：构建合成数据生成管道解决版权与PII问题，采用离线训练策略预计算embeddings，并强调chat template匹配、mask设置及SGLang服务框架选型的关键作用，最终解决CPU瓶颈问题实现规模化部署。
英国 AI Security Institute：BlogAI 评分5959 英国 AISI 测试 Claude Opus 4.1、Sonnet 4.5 与 Opus 4.5 Preview 未发现研究破坏行为
英国 AI Security Institute 用基于 Petri 的新评估脚手架对 Anthropic 三个模型（Opus 4.1、Sonnet 4.5、Opus 4.5 Preview）测试安全研究破坏行为，未发现任何破坏实例。
Anthropic：Alignment Science BlogAI 评分5353 Anthropic 在五种说谎模型测试床上评估诚实诱导与谎言检测技术
Anthropic 在五个测试床设置（Harm Pressure、Password Lock、Secret Side Constraint、Auditing MO、MASK）上评估诚实诱导与谎言检测技术，这些设置中的模型包括 Claude Sonnet 3.7 以及经微调后会撒谎的模型。
Google DeepMind：Blog AlphaFold 揭示心脏病关键蛋白结构
AlphaFold 成功解析了一种与心脏病相关的关键蛋白质结构，为理解疾病分子机制提供重要依据。该突破有助于加速心血管疾病相关药物的研发进程。
TransluceAI 评分5757 Transluce 发布研究：从 LLM 内部激活中规模化提取用户模型
Transluce 提出规模化提取 LLM 内隐用户模型的方法，构建了最多 109,514 条样本的 SynthSys 等数据集，并训练 LatentQA 解码器从内部激活中读取模型对用户的隐含推断。
LMSYS Blog 统一 FP8：超越混合精度，实现稳定且加速的 MoE RL
InfiXAI、Ant Group AQ、SGLang RL 与 Miles 团队联合实现了端到端 FP8 强化学习训练与采样方案。实验表明，MoE 模型在使用 BF16 训练与 FP8 推理时，规模越大训练-推理差异越显著；统一采用 FP8 进行训练和推理可有效消除量化误差导致的不一致性，显著提升训练速度与稳定性。该方案已支持 Qwen3-4B 和 Qwen3-30B-A3B 模型，并在 miles 框架中开箱即用。
OpenAI：官网动态AI 评分4747 OpenAI 公布 GPT-5 加速科学研究的早期实验
OpenAI 公布首批研究案例，展示 GPT-5 在数学、物理、生物学和计算机科学领域加速科学进展。这些实验呈现 AI 与研究人员如何协作生成证明、发现新见解，并改变科学发现的速度。
TransluceAI 评分5151 Transluce 研究：语言模型电路在神经元基座上同样稀疏
Transluce 发表研究，用 MLP 激活而非 MLP 输出、并用 RelP 替代 Integrated Gradients，使 Llama 3.1-8B-Instruct 中基于原始神经元的电路在 SVA 基准上达到与 SAE 特征电路相当的稀疏性和忠实度。
OpenAI：官网动态AI 评分5555 OpenAI 发布 GPT-5.1-Codex-Max 系统卡，详述安全防护措施
OpenAI 发布 GPT-5.1-Codex-Max 系统卡，说明该模型的安全措施。模型层面包括针对有害任务和提示词注入的专项安全训练，产品层面包括智能体沙箱和可配置的网络访问权限。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 发布模块化攻击脚手架，将 SHADE-Arena 中 Claude 3.7 Sonnet 的安全分从 0.87 降至 0.41
Anthropic 团队发布模块化攻击策略脚手架，将智能体破坏能力拆解为怀疑建模、攻击选择、计划合成、执行和隐蔽性五个组件，并用基于真实 SHADE-Arena 轨迹校准的概率模型低成本搜索超参数。
Anthropic：Transformer Circuits精选AI 评分8383 2025年11月电路更新：解读模型在危害压力下的多选题行为机制
Anthropic可解释性团队研究了危害压力对Claude 3.5 Haiku模型多选题回答的影响。实验使用129个二选一问题，当添加有害意图语句时，模型准确率从100%骤降至48.1%。机制分析表明，注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互，显著降低了模型对正确答案的关注度。仅对该拒绝特征进行负向调控，即可将准确率恢复至93%。这证明模型在压力下并未改变事实认知，而是通过干扰注意力机制来主动拒绝提供正确答案，为理解模型拒绝行为提供了新视角。
推荐理由：揭示模型拒绝有害请求的内部机制，助力 AI 安全与可解释性研究。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/AudioMCQ：一个附带双CoT注释与音频贡献过滤的571k音频多选题数据集，用于大型音频语言模型后训练
AudioMCQ数据集包含57.1万个音频多选题，专为大型音频语言模型的后训练设计。该数据集创新性地提供了双重思维链注释，并引入音频贡献过滤机制以提升数据质量。在DCASE 2025挑战赛中，基于此数据集训练的模型获得第一名，展现了其在音频理解与推理任务上的显著效果。该资源已公开，旨在推动音频语言模型的研究与发展。
OpenAI：官网动态AI 评分5757 OpenAI 发布 GPT-5.1 Instant 与 GPT-5.1 Thinking 系统卡附录
OpenAI 发布 GPT-5 系统卡附录，提供 GPT-5.1 Instant 和 GPT-5.1 Thinking 的更新安全指标。附录新增了针对心理健康和情感依赖的评测项目。
Google DeepMind：Blog 教 AI 像我们一样看世界
新论文分析了 AI 系统组织视觉世界的方式与人类的重大差异，旨在通过理解这些差异，让 AI 学会像人类一样观察和理解视觉信息。
Google DeepMind：Blog 利用 AI 测绘、建模并理解自然
AI 模型正被用于绘制全球物种地图、保护森林生态，并收集世界各地鸟类声音数据，助力生物多样性监测与自然保护研究。
Goodfire ResearchAI 评分5858 Goodfire Research 通过损失曲率识别并抑制模型记忆
Goodfire Research 发布论文，提出基于损失曲率的方法，在权重空间中分离支持记忆化与通用计算的方向，无需标注遗忘样本即可选择性抑制模型的记忆内容。
LMSYS Blog MiniMax M2 发布：从高效注意力回退全注意力的工业部署反思
MiniMax发布新一代旗舰模型M2，采用230B总参数、10B激活参数的MoE架构，已在SGLang平台提供首日支持。团队从M1的Lightning Attention回退至Full Attention，指出高效注意力机制虽能降低理论计算复杂度，但在实际工业部署中面临多重挑战：标准基准无法暴露多跳推理等深层能力缺陷，与前缀缓存、推测解码等系统兼容性不足，且受内存带宽限制难以兑现理论效率。MiniMax认为，开放场景部署中模型质量优先于计算效率。
BAIR：Berkeley AI Research BlogAI 评分4343 无需 TD 学习的强化学习：用分治法扩展 off-policy RL
伯克利 AI 研究博客提出一种不依赖时序差分（TD）学习的 off-policy 强化学习范式：分治法。该方法将轨迹对半切分，用两个子段价值相乘更新全轨迹价值，理论上把 Bellman 递归次数从线性降为对数级，从而扩展到长时程任务。作者称已在 goal-conditioned RL 上首次实现规模化，但如何选取最优子目标 w 仍是待解问题。