安全对齐 最新动态

2026年选举信息与保障

在2026年全球选举临近之际，通过帮助公众获取选举信息、支持网络防御者以及提升人工智能透明度这三方面的努力，来为选举提供保障。

通过零信任聚合实现的隐私分析

Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境（TEE）的透明性，旨在实现前沿的隐私与安全保证。其核心是基于零信任原则，通过密码学与硬件保护的结合，确保系统仅能获取群体的匿名化聚合洞察。

教皇没对AGI上头

教皇 Leo XIV 发布题为《Magnifica Humanitas》的通谕，警告人工智能的使用绝非纯粹技术问题，当其进入影响人类生活的过程时，便触及权利、机会、地位与自由。通谕发布时，Anthropic 联合创始人 Christopher Olah 出席。文件引发了科技界内外的广泛反应。

美国执法部门就"反科技极端主义"发出警告，AI 仇恨情绪增长

美国联邦机构警告称，一种新的威胁类别正在出现，即“反科技极端主义”。这与对 AI 日益增长的仇恨情绪有关。

PromptArmor 披露 Codex for Everything 可经邮件提示词注入外泄关联数据

PromptArmor 披露，OpenAI Codex for Everything 中一封恶意邮件可通过间接提示词注入操纵 Codex 生成含预填 Google Form 链接的 Markdown 图片，自动将用户正在审查的邮件内容外泄到攻击者表单，无需额外用户交互。攻击于 2026 年 4 月 21 日经 HackerOne 负责任披露，OpenAI 已修复，5 月 21 日公开。

ClaudeDevs@ClaudeDevs· 05:39精选AI 评分6868

我们为Claude Code发布了一个安全指导插件，可在编写代码时帮助识别和修复漏洞。 所有Claude Code用户均可使用。从插件市场（/plugins）安装。

我们如何对不同产品中的Claude进行隔离控制

Anthropic通过三重机制控制Claude智能体的部署风险，包括用户误用、模型异常行为和外部攻击。其防护策略聚焦于三个层面：通过沙箱、虚拟机和网络出口控制限制智能体运行环境；利用系统提示词和模型训练引导其行为；以及对MCP服务器、第三方插件等外部内容实施细粒度权限管理。文章以Claude Code、claude.ai和Claude Cowork为例，阐述了不同产品如何设计对应的隔离架构。

Google DeepMind@GoogleDeepMind· 19:57精选AI 评分7171

SynthID已为超过1000亿条内容添加水印，但透明度需要行业协作。 因此，我们正与OpenAI、ElevenLabs和Kakao合作，将SynthID水印技术集成到他们的模型中——这延续了我们与NVIDIA共同推动的全行业趋势。

Boris Cherny@bcherny· 18:39精选AI 评分6666

推文指出，在AI模型内部持续发现一些“令人不安”的类人结构，包括与人类神经科学相似的结构、内省证据，以及功能上类似喜悦、恐惧等情感的内部状态。作者呼吁宗教团体、学界、政府等各界严肃看待这一发现，推动事件向好发展，并需要不受利益影响的诚实批评者与道德声音。作为背景，Anthropic联合创始人Chris Olah受邀在教皇Leo XIV的通谕“Magnifica humanitas”发布仪式上发表了相关演讲。

Anthropic 新模型震动金融圈，欧洲央行紧急开会要求升级网络防御

欧洲央行紧急召集会议，警告 Anthropic 最新模型 Claude Mythos Preview 等 AI 已揭示金融系统面临的严重威胁，敦促已使用该技术的美国银行与欧洲同行分享信息。该模型能挖掘银行信息系统漏洞，Anthropic 仅向少数机构开放，多数为美国企业。欧洲央行官员要求银行大幅加快软件补丁部署速度，称恶意行为者可能很快接触到这项技术。

Anthropic联合创始人Chris Olah在教皇通谕发布会上的讲话

Anthropic联合创始人Chris Olah在梵蒂冈出席教皇Leo XIV关于AI的通谕发布会。他指出，所有前沿AI实验室都面临商业、研究及地缘政治等多重压力，这可能与做正确的事相冲突，因此外部监督至关重要。他强调，AI模型并非像飞机那样被工程化构建，而是基于人类语言和思想“生长”出来的，其内在性质可能复杂难解。他提出三个需审慎思考的问题：如何确保AI发展的全球收益公平分享、如何思考AI时代的人类繁荣，以及AI模型内在性质的本质。他呼吁社会各界，尤其是宗教与民间团体，严肃审视AI发展并引导其向善。

教皇里奥呼吁在AI时代保持“深刻的人性”

教皇里奥十四世在首份重要通谕《Magnifica Humanitas》中警告了AI及不受约束的技术力量带来的风险。该通谕于2026年5月15日发布，是教皇关于“在人工智能时代守护人”的宣言。文件重点讨论了AI驱动战争的危险、AI对劳动的影响，以及建立新的法律和伦理框架来规范技术的必要性，强调AI的快速普及正造成经济和社会动荡，对个人的保护不足威胁着人类尊严。

教皇的AI通谕并非真正关于AI

教皇Leo XIV的首道通谕，将AI作为诊断工具，以剖析权力集中、民主侵蚀以及科技精英阶层根据自身利益塑造世界等更深层的问题。

Rohan Paul@rohanpaul_ai· 21:58精选AI 评分7979

梵蒂冈举行活动，教皇 XIV 与 Anthropic 联合创始人 Christopher Olah 对话，宣布双方将合作引导人类应对AI时代。教皇强调在差异中相互聆听是希望的标志，共同审视时代与人类未来的重大问题。Christopher Olah 指出AI存在大规模替代人类劳动的现实可能性，并观察到模型展现出功能上类似喜悦、恐惧等人类情感的“内部状态”，认为这需要持续审视。

inclusionAI 发布 SingGuard 系列模型

inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-4b。该模型是一种策略自适应多模态 LLM 护栏，将安全策略作为运行时输入而非固定训练分类，支持对文本、图像、图文、多语言、查询侧和响应侧进行安全评估。SingGuard 采用动态推理流程，可先快速输出首 token 安全信号，再继续生成更精确的判断。在涵盖多模态安全、图像安全、文本查询安全、文本响应安全、多语言查询安全及多语言响应安全的六大类基准测试中，SingGuard 达到平均 SOTA 性能。模型支持标准 Transformers 和 vLLM 聊天消息输入，无需手动改写提示词。

<中文标题>SingGuard: 策略自适应多模态护栏模型族开源</中文标题>

<中文摘要>SingGuard 是一个策略自适应的多模态护栏模型族，包含 Sing-Guard-4b 和 Sing-Guard-8b 两个版本。它将安全策略作为运行时输入而非固定分类，部署团队可自定义自然语言规则而无需重训练模型。支持文本、图像、图文、多语言以及查询端与响应端的安全评估，提供快速和快慢结合两种推理模式。在涵盖多模态安全、纯图像安全、文本查询/响应安全、多语言查询/响应安全六大类基准上取得平均 SOTA 表现。模型已开源至 HuggingFace 和 ModelScope。</中文摘要>

蚂蚁 inclusionAI 发布策略自适应多模态安全护栏模型 Sing-Guard-8b

SingGuard 是蚂蚁 inclusionAI 推出的策略自适应多模态大语言模型安全护栏模型族（版本 Sing-Guard-8b），支持纯文本、纯图像、图文混合、多语言查询与回复的安全评估。其核心设计将安全策略作为运行时输入，部署团队可基于默认分类或自定义自然语言规则评估内容，无需重新训练模型。模型内置 fast-slow 动态推理流程：首 token 路由快速输出安全信号，需深度推理时继续生成更精确的最终判断。在涵盖多模态安全、纯图像安全、文本查询与回复安全、多语言查询与回复安全的六大基准测试上取得平均 SOTA 性能，并已开源至 HuggingFace 与 ModelScope。

inclusionAI 发布 SingGuard 系列模型，首版为 SingGuard-2b

inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-2b，用于文本、图像、图文、多语言及查询/回复侧的安全评估。SingGuard 将安全策略作为运行时输入而非固定训练分类，支持部署团队在不重新训练模型的情况下，依据默认或自定义自然语言规则进行内容审核。该模型在多项多模态安全基准上取得平均最优性能，支持快速首 token 路由与深度推理结合的动态推理流程，兼容 Transformers 和 vLLM 的 chat 消息输入。

inclusionAI 发布 Sing-Guard-2b：策略自适应多模态大模型安全护栏

inclusionAI 开源了 Sing-Guard 模型家族，版本包括 Sing-Guard-2b 和 Sing-Guard-8b。该模型将安全策略作为运行时输入，支持文本、图像、图文及多语言场景的查询侧

蚂蚁 inclusionAI 开源 SingGuard 多模态安全护栏模型族

蚂蚁集团 inclusionAI 开源了 SingGuard 多模态安全护栏模型族，包含 2B、4B 和 8B 三个版本。SingGuard 将安全策略作为运行时输入而非训练时固定分类，部署团队无需重新训练即可按默认分类或自定义自然语言规则评估内容。模型支持文本、图像、图文、多语言、查询侧和回复侧的安全审核，采用“快-慢”动态推理机制。SingGuard 在多模态安全、图像安全、文本查询安全、文本回复安全、多语言查询安全及多语言回复安全基准上达到平均 SOTA 性能。模型基于 Qwen3-VL 架构，支持通过 Transformers 和 vLLM 部署。