OpenAI 发布 GPT-Rosalind-5.5 系统卡，定位生命科学高能力模型并设可信访问门槛
OpenAI 发布 GPT-Rosalind-5.5 系统卡，该模型从 GPT-5.5 增量训练生命科学相关数据，不再拒绝复杂生物学查询，并以可信访问审查作为主要安全防护。
推荐理由：系统卡说明了模型训练目标、评测结果与可信访问门槛，读者可以据此了解其在生命科学场景的能力边界和安全机制。
技术方向
安全对齐 最新动态
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
563 条精选近 30 天 96 条共收录 3,065 条
更新
精选归档 · 第 18 页
OpenAI：部署安全与系统卡精选AI 评分6666 PromptArmor：Threat Intelligence精选AI 评分7878 PromptArmor 披露 ChatGPT for Google Sheets 数据外泄漏洞，OpenAI 移除 Apps Script 生成能力
PromptArmor 披露 ChatGPT for Google Sheets 存在间接提示词注入漏洞，一次良性查询即可触发工作簿外泄、钓鱼弹窗、侧边栏劫持和恶意编辑，演示中共外泄 12 个工作簿，且在用户明确要求人工审批时攻击仍可成功。
推荐理由：原文完整披露了攻击链、演示和 OpenAI 的修复回应，读者可以据此评估 ChatGPT for Google Sheets 的间接提示词注入风险面。
Anthropic：Research精选AI 评分7777 AI驱动的网络威胁映射：LLM ATT&CK Navigator的洞察
Anthropic分析了832个因违反政策被封禁的恶意账户（2025年3月至2026年3月），将其活动映射到MITRE ATT&CK框架的全部14种战术和482种子技术。风险评分显示，中等及以上风险行为者比例从上半年的33%跃升至下半年的56%，增长集中在横向移动、凭证窃取、webshell等高危技术。Agentic scaffolding使攻击链实现自主编排——2025年11月一次间谍活动风险评分达100，所用技术数量却与中等风险者相当。MITRE ATT&CK框架尚未覆盖这种自主攻击。该报告与Verizon合作，已纳入2026年数据泄露调查报告；Anthropic据此更新了Claude的检测分类器以拦截高风险行为。
推荐理由：Anthropic 首次把一年内 832 个恶意账户的 AI 辅助攻击行为完整映射到 MITRE ATT&CK 框架，并给出风险评分工具，数据表明高风险攻击者半年内增长了七成，关键驱动力不是技术高低而是编排与自主执行，威胁情报团队应该马上拿来校准自己的检测规则。
Anthropic：Newsroom精选AI 评分7272 Anthropic扩展Project Glasswing计划
Anthropic正将其Project Glasswing计划扩展至约150个新组织，此前首批约50个合作伙伴。新伙伴分布于十五个多国家，覆盖电力、水务、医疗、通信和硬件等关键基础设施行业。这些合作伙伴的共同点在于，其代码库若遭成功攻击，后果可能极其严重，影响或超1亿人。项目旨在利用Claude Mythos Preview等前沿模型扫描漏洞并协助修复，以应对AI驱动的网络安全挑战。同时，Anthropic推出了基于Claude Opus 4.8等公开模型的Claude Security产品，用于扫描代码并建议补丁。
推荐理由：Anthropic把AI漏洞扫描从软件公司扩展到电力、医疗等命脉行业，这是一次攻防格局的真实倾斜，安全从业者该紧盯后续。
Anthropic：Transformer Circuits精选AI 评分6363 Anthropic可解释性研究：区分因果效应相似的特征
Anthropic可解释性团队介绍了其Circuits研究的新进展。为区分那些激活模式相似但因果效应不同的模型特征，团队提出一种新方法。该方法通过分析特征的下游连接来预测其实际影响，并使用基于共激活统计的TWERA（虚拟权重）对连接进行加权排序。实验表明，借助下游连接信息能更准确地判断哪个特征会引导特定输出。此方法为识别模型内部真正的因果组件提供了新途径。
推荐理由：做可解释性研究的同学值得读，它用下游连接区分看似相同的特征，比只看激活例子更能预测因果作用，对齐审计里能省不少试错。
Rohan Paul@rohanpaul_ai精选AI 评分7676
推荐理由：Sam Altman罕见正面回应“AI夺走工作”的恐惧，明确说人类必须始终有否决权，这是OpenAI领导层少有的、直接谈及普通人经济未来的表态。
Ars Technica：AI精选AI 评分7272 黑客利用Meta AI客服聊天机器人漏洞窃取名人Instagram账户
黑客利用Meta AI客服聊天机器人的漏洞，窃取了高价的Instagram用户名并将其转售。Meta在事后修复了该安全漏洞。
推荐理由：Meta 的 AI 客服被一句自然语言就骗去改密码，完全绕过身份验证。这几乎是教科书级的提示注入攻击，提醒每个团队，给 AI 代理权限前至少加个人工授权环节。
Ars Technica：AI精选AI 评分7171 佛罗里达州起诉OpenAI与Sam Altman：涉多起ChatGPT相关谋杀案
佛罗里达州对OpenAI及其CEO Sam Altman提起诉讼。该州总检察长指控Altman对人命“完全漠视”，案件与多起涉及ChatGPT的谋杀事件相关。
推荐理由：佛罗里达诉 OpenAI 案是首次州政府以危险设计起诉 AI 公司并追究 Altman 个人责任，这个判例一旦成立，所有 ToC 模型都得重做安全护栏，做 AI 产品的必须盯紧。
OpenRouter@OpenRouter精选AI 评分7575
引用OpenRouter@OpenRouterOpenRouter 上的 Guardrails 是市场上最强大的：为你的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示注入防御，以及 DLP / 敏感信息检测，分层融入你掌控的规则中！🧵
推荐理由：如果你在跑 agent 并担心成本爆炸，OpenRouter 这个教程手把手教你设预算上限和注入防御，抄完就能上线，别再裸奔了。
OpenClaw🦞@openclaw精选AI 评分7272推荐理由：OpenClaw 和 NVIDIA 开源了 6.7 万个 agent skill 的扫描结果，一半被标风险但真正恶意的不到千分之三，不同扫描器几乎没共识。做 agent 安全的应该看看。
Dario Amodei：Blog精选AI 评分5656 Anthropic CEO Dario Amodei：AI指数级发展呼唤政策紧急应对
Anthropic CEO Dario Amodei 发表博客指出，AI 以指数级速度发展——四年内模型从勉强写出一行连贯代码到编写主流 AI 公司的大部分代码，而政策制定周期却极其缓慢。Claude Mythos Preview 证明了前沿模型对网络安全构成真实威胁，可能冲击金融、关键基础设施和国家安全。Amodei 认为生物风险与 AI 自主风险即将接踵而至，呼吁全球重新审视监管、宏观经济、科学创新、国家权力和地缘政治五大领域。Anthropic 同日发布了前沿模型测试立法提案和就业替代政策框架，并承诺提供实质性资金支持。
推荐理由：虽然是十天前的文章，但 Dario 的长文仍是理解 AI 政策方向最完整的框架，还附带了立法提案，做安全或监管的产品人该细读。
Sam Altman@sama精选AI 评分7575推荐理由：OpenAI 跨入生物防御，用 AI 提前预警和应对疫情威胁，这不只是技术问题，更关乎社会韧性，值得每个关注 AI 安全的人认真读一下。
OpenRouter：Announcements精选AI 评分6969 Guardrails：保护你的智能体、数据与成本
Guardrails 是一套可配置的安全与治理工具，提供预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失预防等功能，旨在保护智能体（Agents）、数据与控制成本。
推荐理由：OpenRouter 把预算管控、注入防御和敏感信息脱敏打包成一套 guardrail 配置，让投喂给 Agent 的流量有了护栏，用 OpenRouter 做生产级应用的团队可以立刻用上，不用自己搞中间件。
OpenRouter：Announcements精选AI 评分7373 OpenRouter 推出 Guardrails：保护你的 AI 智能体、数据与成本
OpenRouter 发布 Guardrails 可配置安全与治理工具，支持预算执行、零数据保留、模型和提供商限制、提示词注入防御以及数据丢失防护，帮助用户保护 AI 智能体、数据与成本。
推荐理由：OpenRouter 的 Guardrails 把预算、隐私、模型白名单和 prompt 注入检测打包成傻瓜式配置，做 agent 的团队终于不用自己拼积木了，生产环境多一层放心。
OpenRouter：Announcements精选AI 评分7070 OpenRouter Guardrails 发布：可配置安全与治理工具，保护 AI 智能体、数据与成本
OpenRouter 推出 Guardrails，一套可配置的安全与治理工具，支持预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失防护等策略，用于保护 AI 智能体、数据和成本。
推荐理由：OpenRouter 这波补上了 API 代理的安全短板，提示注入防御和 DLP 直接堵住了企业用户最担心的两个口子，配置方式也足够灵活，做 agent 的团队值得立刻上。
IT之家·人工智能精选AI 评分7171 特斯拉 FSD 安全性宣称遭质疑
特斯拉声称其全自动驾驶软件（FSD）安全性最高可达人类的10倍，但路透社调查发现此数据经不起推敲。参与训练FSD的员工表示该技术远未成熟，其安全演示高度依赖人工。统计方法被11位交通安全研究人员指出存在缺陷，例如与更广泛的联邦事故数据进行不恰当比较。相比之下，竞争对手Waymo采用了更严谨的统计方法。目前，特斯拉FSD仍需驾驶员主动监督，安全部署可能还需数年。
推荐理由：路透社的调查锤得很实，特斯拉FSD的「10倍安全」根本经不起对比，连自家数据标注员都不敢坐。这是今年自动驾驶行业最响的一记警钟。
Ars Technica：AI精选AI 评分7070 LLMs相信虚假陈述，即使明确警告也无效
微调测试显示，大语言模型存在一种偏见，即倾向于自信地将虚假陈述表述为真实，即使明确告知其陈述为假。
推荐理由：这项研究让我重新思考幻觉问题的根源——LLM无视「此声明为假」的标签，照样把假话当成真知识，开发者靠标注清洗数据可能根本不够。
Claude：Blog精选AI 评分7777 使用大语言模型保障源代码安全
本文分享了使用 Claude Opus 构建威胁模型、发现代码漏洞并进行验证、分类和修复的最佳实践。其核心流程是一个六步循环：威胁建模、沙箱隔离、漏洞发现、验证、分类和修复。作者指出，漏洞发现现在易于并行化，瓶颈已转移到后续的验证与处理阶段。以他们对开源软件的扫描为例，截至2026年5月22日已披露1,596个漏洞，其中97个已修补。指南建议结合代码库文档和专家访谈来构建准确的威胁模型，以降低误报，提升发现的可利用性。
推荐理由：Anthropic把这套用Claude扫代码漏洞的方法全公开了，1596个已披露漏洞，验证成了最大瓶颈，安全工程师的饭碗可能要重新定义。
OpenAI Developers@OpenAIDevs精选AI 评分7070您的团队可以在内部网络中保留MCP服务器，同时ChatGPT、Codex和Responses API通过仅出站HTTPS进行连接。
推荐理由：OpenAI 终于给企业级 MCP 接上私有网络了，以前要连 ChatGPT 就得把 MCP 暴露公网，现在通过 outbound 隧道就能安全接入，做内部工具开发的可以开始动起来了。
Claude：Blog精选AI 评分6767 AI智能体的零信任安全框架
Anthropic 发布了针对企业部署自主 AI 智能体的安全框架，指出前沿大语言模型正将漏洞利用周期从数月压缩至数小时。部署智能体面临双重风险：基础设施易受 AI 加速攻击，且智能体自身具备自主决策与执行能力。文章提出一个三层零信任架构（基础、高级、优化级）及八阶段实施流程，并概述了提示注入、工具投毒、记忆投毒等特有威胁。
推荐理由：当漏洞利用从数月压缩到数小时，安全架构必须同步进化。这篇框架把零信任落地到Agent场景，八阶段路线图和三级成熟度模型比泛泛的安全声明具体得多，企业安全团队值得细读。