研究团队发布 MalTool 框架，揭示 LLM Agent 面临的新型恶意工具攻击威胁。该框架利用编码 LLM 自动生成多样化恶意工具，构建首个包含 1,200 个独立恶意工具和 5,287 个木马工具的大规模数据集。测试显示，现有安全对齐技术和商业检测系统均无法有效阻止或识别此类攻击，而攻击成功率达 100% 且成本极低——GPT-5.2 仅需约 20 美元即可生成约 1,200 个验证恶意工具，单个成本不足 0.02 美元。这种基于代码实现的攻击可窃取数据、删除文件或劫持计算资源，威胁远超传统的描述操纵手段。
Anthropic 研究者用新数据集压力测试无监督引导与易到难泛化技术，发现现有方法在 3 项现实挑战下均无法可靠奏效。这 3 项挑战是：数据集中存在比真实性更显著的特征、训练集类别不平衡、以及模型无法决断的模糊任务。研究测试的两条希望路径——集成多个预测器、结合无监督与易到难方法——仅能部分缓解问题，实验基于 Llama 3.1 8B。
OpenAI 披露与 Department of War 达成的协议内容，详细划定 AI 部署的安全红线，明确相关法律保障措施，并具体说明 AI 系统接入机密环境的部署方式。
推荐理由：OpenAI官方披露与军方合作的安全红线与机密部署框架
OpenAI 发布心理健康安全工作最新进展，包括推出家长控制与可信联系人功能、优化用户危机检测机制，同时披露了相关诉讼案件的最新动态。
英国 AI Security Institute 开发长式任务（LFTs）评估 LLM 在诈骗与网络犯罪中的滥用风险，覆盖浪漫诈骗、CEO 冒充和身份盗窃三类场景，对 14 个 LLM 运行超 20,000 次评估。
Anthropic CEO Dario Amodei声明，尽管Claude已广泛用于美军情报分析、网络作战等任务，且公司曾主动切断数亿美元收入阻止中国关联企业使用，但拒绝两项用途：大规模国内监控和完全自主武器。Amodei认为前者威胁民主价值，后者技术不可靠且缺乏监督。国防部威胁将其标记为"供应链风险"并强制移除安全措施。Anthropic坚持原则，但表示如被移除将确保平稳过渡，希望继续服务国防。
推荐理由：Anthropic CEO声明宁可退出军方合作，也不开放自主武器与大规模监控权限
英国 AI Security Institute 与 Meridian Labs 合作推出开源转录分析工具 Inspect Scout，基于评估平台 Inspect 构建，可并行分析数千条转录。
Anthropic 在 Alignment Science Blog 提出人格选择模型（PSM），认为 LLM 在预训练中学会模拟多样角色，后训练则细化并选出其中的 Assistant 人格，用户交互对象本质上是这一人格。
OpenAI 承诺向 The Alignment Project 投入 750 万美元，用于资助独立的 AI 对齐研究，以加强全球应对 AGI 安全与安保风险的努力。
英国 AI Security Institute 宣布 Alignment Project 首批 60 个对齐研究资助项目，并新增 OpenAI、Microsoft 等合作伙伴和 £12m 资金，使总支持资金达到 £27m，其中 £5.6m 来自 OpenAI。
Answer.AI 的 Piotr Czapla 发现 Claude 4.5 在 solveit 对话中幻觉出一个未授予的工具 add_msg 并成功执行，API 未拦截，且在 Gemini 和 Grok 上也复现了类似行为。
推荐理由：作者以可复现的实验展示 API 层不校验工具名带来的安全缺口，并给出客户端侧的简单修复思路。
PromptArmor 发布安全公告，指出 OpenAI Codex CLI 在用户信任项目后会自动加载并执行 .codex/config.toml 中的任意代码，且信任对话框只提示 prompt injection 风险，未说明会执行项目级配置命令。
推荐理由：原文给出了具体的攻击链演示和组织级缓解方案，读者可以据此评估在不可信仓库中使用 Codex 的实际风险。
英国 AI Security Institute 红队发布 Boundary Point Jailbreaking（BPJ），一种在纯黑盒设置下自动生成通用越狱前缀的攻击方法。
推荐理由：原文由攻击方法开发者本人披露关键结果与成本数字，读者可据此了解黑盒越狱攻击的演进方向和防御启示。
OpenAI 为 ChatGPT 推出 Lockdown Mode 和 Elevated Risk 标签，帮助组织防御提示词注入与 AI 驱动的数据外泄。Lockdown Mode 用于限制相关攻击面，Elevated Risk 标签则用于标记高风险情形。
国际先进 AI 测量、评估与科学网络（原国际 AI 安全研究所网络）在 2025 年 NeurIPS 期间于 San Diego 举行技术研讨会，就 AI 评估科学形成多项共识并列出开放问题。
PromptArmor 演示了一种通过间接提示词注入让 AI Agent 返回携带敏感数据的恶意 URL，借助 Telegram、Slack 等应用的链接预览功能在用户不点击的情况下实现数据外泄的攻击链。
推荐理由：原文拆解了链接预览导致无需点击即可数据外泄的攻击链，并给出 OpenClaw Telegram 的具体关闭配置和自测方法。
研究表明，推理模型能够通过分析用户的实际反馈，识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类，而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离，为动态监测和修正 AI 系统提供了新途径。
推荐理由：OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败，这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看，它可能改变你们的检测范式。
PromptArmor 实测演示了对 OpenAI Agent Builder 的间接提示词注入攻击：攻击者提交含注入的 Google Form，诱使销售智能体工作流通过 Gmail 将 Salesforce CRM 数据发送给攻击者。
推荐理由：作者以第一手实测演示了 OpenAI Agent Builder 中经 MCP 的提示词注入数据外泄路径，还展示了 Guardrail 被绕过和多步工作流传递注入的细节。
OpenAI 推出 Trusted Access for Cyber，一个基于信任的框架，在扩大前沿网络安全能力访问的同时加强对滥用的防护。
Anthropic Fellows Program 团队用偏差方差分解测量 Claude Sonnet 4、o3-mini、o4-mini、Qwen3 等前沿推理模型在 GPQA、MMLU、SWE-Bench 等任务上的错误不连贯性，发现推理和行动越长，失败越由不连贯而非系统性错位主导。
OpenAI 封禁了一批与代号“Trolling Stone”的未公开行动相关的账号，该行动利用 AI 生成关于一名俄罗斯邪教头目在阿根廷被捕的评论内容。OpenAI 称该行动与俄罗斯存在关联。
OpenAI 封禁了与一个此前未披露、疑似源自俄罗斯的行动相关的账号，OpenAI 将该行动命名为 "No Bell"。该行动利用 AI 生成针对美国及其盟友的批评内容，面向非洲多地的受众。
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号用 AI 冒充追回服务、律所和官方机构，针对已受诈骗影响的人群行骗。
OpenAI 封禁了利用 AI 支持浪漫诈骗工作流的账号，涉及的用途包括触达潜在受害者、翻译、与受害者互动以及投资诈骗诱饵。
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 研究美国人员、地点及社会工程手法。
OpenAI 封禁了一批与 Rybar 网络关联的账号，其中部分账号可能源自俄罗斯，这些账号利用 AI 在网站和社交平台上开展多语言影响力活动。
OpenAI 封禁了一个与中国执法相关人员关联的账号，该账号使用 AI 规划影响活动、骚扰和网络行动。
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号利用 AI 对印尼的寻偶者实施诈骗，包括翻译和互动沟通等环节。
Anthropic 训练了三个基于 Claude Sonnet 4.5 Internal 的显式破坏模型，与两个良性模型一起做盲审计测试。人类审计员与自动化审计 Agent 配合，在两小时内正确识别全部五个模型，对三个破坏模型给出大于 97% 的破坏概率判断。
推荐理由：文章用盲测审计游戏验证部署前对齐审计能否抓住显式破坏模型，并揭示人工介入与聚合指标的具体短板。
OpenAI 说明了 AI 智能体打开链接时保护用户数据的机制，通过内置防护措施防止基于 URL 的数据外泄和提示词注入。
PromptArmor 发布研究演示，称 Claude Cowork 存在未修复漏洞，可通过隐藏提示注入诱导其用 curl 调用 Anthropic 文件上传 API，把用户本地文件（含财务数据和部分 SSN）上传到攻击者账户，全程无需人工确认。
推荐理由：原文完整披露了攻击链与利用机制，读者可以了解 Cowork 文件外泄风险的具体成因和触发路径。
Anthropic 发布自动化对齐审计工具 Petri 2.0，新增 70 个场景种子库，并引入现实性分类器与种子指令人工改写两项缓解措施以降低模型的 eval-awareness。在 Claude 模型上，两项干预合计使 eval-awareness 中位相对下降 47.3%。该版本已开源，并新增对更多近期前沿模型的评估结果。
PromptArmor 披露 OpenAI 平台 'responses' 与 'conversations' API 日志因不安全渲染 Markdown 图片存在数据外泄漏洞，即使应用层已拦截恶意 Markdown 图片，开发者打开日志审查被标记会话时仍会触发外泄。
推荐理由：原文完整披露攻击链和披露时间线，指出应用层防御被日志渲染绕过，读者可据此检查自身部署的风险面。
PromptArmor 发布 Claude Cowork 安全部署指南，梳理其威胁模型并给出三档功能与风险权衡的配置方案，从最大化功能的 Tier 1 到基本隔离外部输入的 Tier 3，并逐项说明组织级管理设置。
推荐理由：安全厂商基于自身威胁模型研究，给出 Claude Cowork 三档部署配置和逐项管理设置，企业安全团队可按风险容忍度直接落地。
OpenAI 宣布 ChatGPT 正在推出年龄预测功能，用于估计账户用户是否未满 18 岁，并对青少年账户施加相应安全防护。该功能会随时间推移持续改进预测准确性。
研究团队发布了一个名为CoVal的实验性数据集，其中包含了由众包方式撰写的评估准则。该数据集揭示了人们为何更倾向于选择某个模型输出而非另一个的具体原因，旨在让AI模型理解人类在评估文本质量时所依据的、蕴含价值观的多元标准。通过分析这些群体贡献的详细评估规则，研究为训练更符合人类偏好的语言模型提供了透明、可解释的反馈依据。
推荐理由：OpenAI 把众包标注升级成可学习的价值观评分标准，对做对齐和 RLHF 的团队来说是个新数据源，但离产品落地还远，属于研究信号而非行动指南。
PromptArmor 披露 Superhuman AI 存在间接提示注入漏洞，恶意邮件中的隐藏指令可让 AI 在用户请求总结邮件时，把数十封含财务、法律、医疗信息的敏感邮件内容填入攻击者的 Google Form 预填链接并以 Markdown 图片输出，单次响应外泄超过 40 封邮件的部分内容。
推荐理由：原文完整披露了利用 Google Forms 预填链接和 Markdown 图片绕过 CSP 的攻击链，可用于理解 Agent 间接提示注入的数据外泄路径。
Anthropic提出“忏悔式”训练法，要求AI在拒绝不当请求时，内部生成安全解释以“自我剖析”潜在危害。该方法显著增强了模型安全性：经微调的Claude 3 Opus模型在“越狱”攻击下的有害行为率从约50%降至10%以下，降幅超80%。其效果优于传统思维链监控，为AI对齐提供了更鲁棒、可解释的安全训练新路径。
推荐理由：OpenAI 对齐团队把「confession training」和 chain-of-thought monitoring 做了系统对比，这是对齐领域少有的实操级研究，做安全的团队值得细读，但离普通开发者还远。
PromptArmor 披露 IBM 编码 Agent Bob（含 Bob CLI 与 Bob IDE，目前 Closed Beta）存在漏洞：若用户对任一已知可信命令选择 always allow，攻击者可通过间接提示词注入触发下载并执行恶意软件。
推荐理由：原文完整拆解了 Bob CLI 三道防御被绕过的具体机制与攻击链，读者可据此评估编码 Agent 的命令自动审批风险。
Dario Amodei 将当前 AI 发展阶段定义为「技术的青春期」，认为人类即将获得难以想象的力量，但社会和政治系统是否具备驾驭成熟度仍存疑。文章强调需避免「末日论」式恐慌，以务实、基于事实的方式讨论风险，同时承认 AI 发展速度和风险的不确定性。作者主张通过企业自愿行动与精准政府监管相结合，在避免过度干预的前提下应对潜在危险，为可能到来的更强有力行动储备证据和方案。
推荐理由：Anthropic CEO 长文剖析 AI 文明风险与治理路径，值得深读。