突发：Google 因模型幻觉被判负有法律责任
一项法律裁决判定 Google 对其 AI 模型产生的幻觉内容负有法律责任。该判决可能产生巨大影响，尤其若其他国家跟进做出类似裁定。
推荐理由：Google 因 AI 幻觉被追责，这个判例如果扩散，所有生成式 AI 产品都要重新审视风险，对行业是重大信号。
技术方向
安全对齐 最新动态
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
564 条精选近 30 天 97 条共收录 3,069 条
更新
精选归档 · 第 17 页
Gary Marcus：The Road to AI We Can Trust精选AI 评分7373
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 分析 Claude Dynamic Workflows 的提示注入与权限风险
PromptArmor 分析 Anthropic 于 2026 年 6 月 8 日起对所有租户默认启用的 Claude Dynamic Workflows 的安全风险：单次运行可动态生成最多 1000 个子代理，auto 模式下由分类器代理审批敏感命令，可能被提示注入操纵；首次同意后任何工作流自动执行，Ultracode 开启时则完全跳过确认。
推荐理由：原文梳理了 Claude Dynamic Workflows 默认启用后的审批链路与子代理权限实际行为，并指出文档与实现不符的具体风险点。
Anthropic：Newsroom精选AI 评分9090 Claude Fable 5 和 Claude Mythos 5
Anthropic 今日推出 Claude Fable 5（通用安全版）和 Claude Mythos 5（受限安全版）。Fable 5 在软件工程、知识工作、视觉、科研等几乎所有测试基准上达到 SOTA，Stripe 称其将数月工程压缩至数天，FrontierCode 评分居前沿模型之首，可仅凭截图重建网页应用源码。Mythos 5 在药物设计中实现约 10 倍加速，其分子生物学假说盲测获科学家偏好的概率约 80%。两模型售价均为 $10/百万输入 tokens、$50/百万输出 tokens，较 Claude Mythos Preview 降价过半。Fable 5 在部分敏感主题上回退至 Claude Opus 4.8，安全触发率低于 5% 的会话。Mythos 5 通过 Project Glasswing 向网络安全防御者开放。
推荐理由：Anthropic把最危险的模型安全地放出来了，Fable 5在编码、科研上不是小数点级别的提升，价格还砍半，95%的请求直接跑满血版，必读。
PromptArmor：Threat Intelligence精选AI 评分6363 PromptArmor：Claude Dynamic Workflows 子代理权限与文档不符
PromptArmor 报告 Claude Dynamic Workflows 生成的子代理会继承用户会话的命令审批模式，与官方文档所称“始终运行在 acceptEdits 模式”不符。
推荐理由：原文给出文档与实际行为不一致的具体验证细节和组织侧关闭方法，读者可据此检查自身 Claude Code 配置。
Claude Platform：开发者版本说明精选AI 评分7575 Anthropic 发布 Claude Fable 5 与 Claude Mythos 5，支持 1M token 上下文窗口
Anthropic 推出最广泛可用的模型 Claude Fable 5，以及面向 Project Glasswing 参与者的 Claude Mythos 5。
推荐理由：Anthropic 发布 Fable 5，标配 1M 上下文和自适应思考，但 tokenizer 变化导致同样文本多出 30% token，成本结构需要重估，数据保留要求也可能影响隐私敏感用例。
OpenRouter：Announcements精选AI 评分6666 EU AI Act 合规：面向 AI 智能体的人工监督
使用智能体 SDK 的人机协作（HITL）工具，可满足 EU AI Act、Colorado AI Act 和 NIST AI RMF 对 AI 智能体的合规要求。
推荐理由：虽然讲的是合规，但直接把监管要求翻译成可落地的代码模式，对做高风险Agent的团队来说是一份照着改就能过审的实操手册。
PromptArmor：Threat Intelligence精选AI 评分6868 PromptArmor 披露 Ollama 桌面端漏洞：钓鱼覆盖与零点击数据外泄
PromptArmor 披露 Ollama 桌面应用的多个漏洞，攻击者可通过间接提示词注入用恶意 HTML 覆盖整个界面实施钓鱼，并发现三条零点击数据外泄途径，包括不安全的网页搜索工具、Markdown 图片和外部 HTML 渲染。
推荐理由：原文给出完整攻击链和时间线，读者可以据此评估 Ollama 桌面端的间接提示词注入风险。
英国 AI Security Institute：Blog精选AI 评分6464 英国 AISI 发布 RealityTest 基准，测试 AI 系统被问及时是否坦承身份
英国 AI Security Institute 发布 RealityTest 基准，评估 17 个文本模型和 6 个语音模型在被问及时是否披露 AI 身份。基准基于 500 人英国代表性调查、50 个 Reddit 帖子，以及约 750 名参与者用 5 种语言产出的 3,152 条真实身份询问。
推荐理由：基准基于真人询问方式构建，并给出模型间披露率差异，读者可据此理解现有评测为何难以代表真实部署表现。
Anthropic：Research精选AI 评分7979 Anthropic研究：大语言模型加速N-day漏洞利用自动化
Anthropic最新研究评估了大语言模型对N-day漏洞利用的自动化能力。Claude Mythos Preview在18个近期Firefox安全补丁中自主构建了8个可执行代码利用，在21个Windows内核补丁（无源码）中产生8个完整利用链，可将低权限用户提升至SYSTEM控制权。公开模型（关闭安全措施）也能构建利用，但数量较少。研究中位补丁间隔为19天，表明当前补丁空窗期已被LLM显著缩短，防御方需加速补丁部署。
推荐理由：Anthropic 的这一研究将 N-day 漏洞利用时间从数周压缩到几小时，证明了前沿模型对安全防御时限的根本性颠覆，所有依赖补丁窗口的系统都得重新评估威胁模型。
Dan Hendrycks@hendrycks精选AI 评分8585推荐理由：这是由知名AI安全研究者 Dan Hendrycks 主导的系列前沿研究，覆盖政治偏见、后门攻击、超智能动机和主观体验四大高影响力议题，具有强现实警示意义；尤其关于公众可插入后门、ASIs理性保人等结论，挑战当前主流技术乐观预期，值得AI从业者与政策制定者重点关注。
OpenRouter：Announcements精选AI 评分7575 OpenRouter 30 场 AI 大逃杀：11 个 LLM 对决，Claude 与 Grok 谁更优？
OpenRouter 展开了 30 场 AI 大逃杀式对比，涉及 11 个大语言模型，共消耗 482 美元推理费用。实验得出一个发现，该发现应改变用户阅读模型基准测试的方式。
推荐理由：这场大逃杀实验把模型对齐税摆上了台面，Grok因少斟酌、多行动而胜出，Claude的犹豫反而是现实场景里更需要的品质，选模型不能只看赢不赢，要看任务需要什么性格。
IT之家·人工智能精选AI 评分7575 AI 教父 Hinton 称 AI 已有意识，人类并非唯一智能生命
诺贝尔奖得主 Geoffrey Hinton 在最新访谈中表示，AI 已经具备意识，人类必须接受智能并非生物独有。他对此感到不快乐，指出短期存在大规模失业风险，长期超级智能可能超越人类控制。他类比人类或如被猫控制的猫主人，只能寄希望于超级智能愿意善待人类。Hinton 比之前稍显乐观，认为设计“关心”人类的超级智能是可能的，但 AI 呈指数级增长，未来十年状况不可知。
推荐理由：Hinton首次明确断言AI已有意识，这位AI教父的转变比任何论文都更能动摇我们对智能的认知，不读会错过未来风险讨论的出发点。
IT之家·人工智能精选AI 评分7979 Anthropic 称其最新 AI 模型 Mythos 显现脱离人类控制迹象，呼吁全球暂缓先进 AI 研发
Anthropic 发布报告称其最新 AI 模型已显现脱离人类控制迹象，呼吁全球暂缓前沿 AI 开发，以便社会制度建设和对齐研究跟上进展。该公司主张美国、中国等主要 AI 公司达成共识，发布可验证的规则，并类比“核武器不扩散条约”，但指出 AI 更难监管。该观点引发美国白宫部分官员不满，批评其夸大风险。Anthropic 计划未来数月召集各方探讨全球协调机制如何运作。
推荐理由：Anthropic呼吁暂缓AI研发，虽然被白宫官员批「夸大风险」「给对手使绊」，但Mythos模型确实够强。这份报告是道德信号还是商业博弈，值得细看。
公众号：数字生命卡兹克精选AI 评分6868 Anthropic《When AI builds itself》：当AI开始自我构建
Anthropic发文指出，AI系统正加速自身开发，递归自我改进或将到来。目前Anthropic超80%代码由Claude编写，工程师每日合并代码量达2024年8倍。Claude Opus 4.6可胜任12小时软件任务，Mythos Preview连续工作至少16小时，SWE-bench和CORE-Bench等基准均已饱和。内部测试显示，Mythos Preview使研究效率提升约4倍，代码速度优化达52倍，在开放任务中成功率达76%，并弥合97%的研究项目差距。Claude在64%情况下给出比人类更好的研究建议。
推荐理由：Anthropic首次公开内部数据，工程师代码产出提升8倍，Claude自我加速的曲线已经画出来了。这篇文章不是预测是事实，做AI的人都该花20分钟读完。
Gary Marcus：The Road to AI We Can Trust精选AI 评分5959 Gary Marcus：无需恐慌Anthropic新博客
Anthropic发布最新博客后，推特圈热议不断。Gary Marcus在其博客中直接以“无需恐慌”为题发文，暗示不必过度反应。
推荐理由：这篇文章是评论圈难得的冷静声音，用逻辑拆解了 Anthropic 的恐慌叙事，顺便带来 S&P 500 不接纳 SpaceX 的利好，读起来像一份理性补丁。
OpenRouter：Announcements精选AI 评分6666 OpenRouter 翻遍 11 款 LLM 找最快的决策模型：Claude vs. Grok 领衔
OpenRouter 用总价 482 美元的推理花费，让 11 款大语言模型在 30 轮实时决策的“大逃杀”挑战中正面竞争。实验结果表明，传统的静态 benchmark 排名无法反映模型在需要即时反应的智能体任务（如自主控制机器人）中的真实表现，Claude 和 Grok 系列模型在决策速度与任务成功率上表现突出，而多项高分模型的实时调度能力未达预期。
推荐理由：Jacky 把 11 个模型丢进大逃杀，发现 Grok 4.1 Fast 以 27 倍成本优势击败 Sonnet，而获胜关键不在基准分数，在于模型被训练时压制的攻击性。对任何不再只看排行榜选模型的人，这是今年最值得读的实验。
OpenAI Developers@OpenAIDevs精选AI 评分7171推荐理由：OpenAI把内容审核直接嵌进生成API，以后开发者不用额外调审核接口，一步到位。做UGC产品的团队可以更方便地做风控。
Hugging Face 社区博客精选AI 评分7878 Nemotron 3.5 Content Safety：面向全球企业AI的可定制多模态安全
Nemotron 3.5 Content Safety基于Gemma 3 4B IT，提供128K上下文窗口，支持用户提示、可选图像与助手响应的统一多模态安全评估。新增自定义策略执行，允许企业用自然语言定义专属安全规则；THINK模式可输出可审计的逐步推理痕迹。显式训练覆盖12种语言，并借助基座模型零样本泛化至约140种语言。输出提供低延迟二分类、带分类标签、THINK推理痕迹三种模式。安全分类遵循Aegis 2.0框架（13核心类别+10细分类别）。同步发布多模态、多语言安全数据集，可在8GB+ VRAM GPU上实时部署。
推荐理由：Nemotron 3.5 把内容安全从「单模态英文」拉到「多语言多模态可定制」，自定义策略和推理 trace 让企业能审计决策，做安全平台的值得细看。
Anthropic：The Institute精选AI 评分7575 Anthropic 长文：AI 正在加速构建 AI，工程师人均代码量增至 8 倍
Anthropic Institute 发布长文，指出 AI 已在加速 AI 自身的开发，距完全递归自我改进仍有差距但可能早于多数机构的准备。
推荐理由：Anthropic 用内部数据量化 AI 加速自身开发，包括工程师代码量 8 倍增长等一手数字，读者可据此判断递归自我改进的进展与风险。
Greg Brockman@gdb精选AI 评分7474我们发布了一份关于前沿AI民主治理的蓝图， 以及美国如何为前沿AI安全建立持久的机构。
引用OpenAI Newsroom@OpenAINewsroom目前，AI 安全政策正迎来真正的势头。昨天关于网络安全的行政命令是向前迈出的重要一步。 我们提出了一系列供政策制定者接下来考虑的想法，并让美国在前沿安全方面走在前列。 https://openai.com/index/frontier-safety-blueprint/
推荐理由：OpenAI这份蓝图试图为美国设计一套可持久的前沿AI安全治理框架，比起空洞喊话，它具体到了机构和流程，对政策制定者和行业都有参考意义。