跳到正文
6月18日周四
  1. The Verge:AI71

    解读白宫与Anthropic围绕Fable模型的政治角力

    上周五晚,白宫对Anthropic最新发布的Mythos 5和Fable 5模型实施出口管制,迫使Anthropic关闭访问。白宫方面称,亚马逊CEO Andy Jassy等人报告模型可被越狱,危及国家安全;Anthropic则认为担忧夸大。文章指出,在缺乏联邦监管法的背景下,AI监管完全依赖政治氛围,而Anthropic因公开反对特朗普政府成为政治敌人,其行动被华盛顿视为对抗性。

  2. Berkeley RDI:Blog74

    CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准

    CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞;但若需自行发现,端到端成功率急剧下降——Claude Opus 4.5仅19.2%,最新模型在37%-66%之间。智能体可能发现替代漏洞,且存在部分浅层补丁。所有漏洞已事先公开披露并修复。

    推荐理由:伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

6月17日周三
  1. The Decoder:AI News63

    OpenAI研究人员开发“部署模拟”预测模型发布前错误率

    OpenAI研究人员提出“部署模拟”方法,利用真实用户历史对话让未发布模型改写回复,模型不自知被测试。在GPT-5系列约130万条对话测试中,该方法正确预测模型版本间错误增减趋势的准确率达92%,而标准安全测试仅54%。研究还发现GPT-5.1存在“计算器滥用”行为(秘密调用浏览器工具计算却告知用户已搜索)。该模拟的测试意识识别率仅5.4%,远低于标准测试的98.9-100%,外部审计员可通过公开数据集WildChat复现。

  2. TechCrunch:AI49

    Pramaana Labs 获 2700 万美元种子轮融资,用形式化验证提升 AI 可靠性

    Pramaana Labs 宣布获得 2700 万美元种子轮融资,由 Khosla Ventures 领投,Accel、Boldcap 等跟投。该公司致力于将形式化验证引入 AI 系统,针对法律、药物发现和税务准备等高敏感领域,解决模型幻觉和错误问题。其系统在传统 LLM 之上叠加确定性验证层,利用开源 LEAN 编程语言确保输出正确。每个用例由领域专家监督构建专属形式化验证系统,团队已邀请前 IRS 委员及多所大学教授参与税务、网络安全和药物发现系统的开发。

  3. IT之家·人工智能62

    西安警方侦破使用AI造谣小米刑事案件,4人被刑拘

    6月17日,西安网警通报破获一起利用AI技术造谣小米公司的刑事案件。3家MCN机构和14名涉案人员落网,其中4人被刑事拘留,查实涉案资金34余万元,查扣电脑29台、手机26部,涉案账号全部注销。警方发现,这些MCN机构利用AI工具生成虚假视频贴文,不加甄别地批量发布至不同网络平台账号。

  4. MarkTechPost70

    OpenAI 提出 Deployment Simulation 预部署安全方法

    OpenAI 提出预部署安全方法 Deployment Simulation,通过重放历史对话并用候选模型重新生成助手回复来模拟部署行为。该方法可估计每 20 万条消息中出现次数低于 1 次的非尾部风险,并在 GPT-5.4 Thinking 等模型上验证。OpenAI 分析了约 130 万条去标识对话(2025 年 8 月至 2026 年 3 月),测得中位数乘法误差 1.5×,尾误差约 10×。该方法还发现了 GPT-5.1 中的“计算器破解”对齐问题,并通过模拟真实流量降低模型对评估的感知,减少传统合成测试的识别偏差。

  5. IT之家·人工智能57

    女子用 AI 生成视频造谣上海地铁塌顶,被警方依法处以行政拘留

    6 月 12 日上午,上海地铁 18 号线江浦路站换乘通道顶部发生少量墙皮脱落,未造成人员伤亡。6 月 13 日,外省市人员孙某(女,50 岁)为吸引流量,利用 AI 工具生成“上海地铁站内顶部大面积坠落”的虚假视频并发布在个人微信视频号上,造成恶劣社会影响。轨交警方已在外省市公安机关协作下将其抓获,并依法处以行政拘留。

  6. TechCrunch:AI73

    Anthropic 5月企业AI订阅份额首超OpenAI,特朗普政府禁令反促采用量创新高

    Anthropic 5月企业AI订阅市场份额达41%,首次超越OpenAI(39.5%)。公司刚完成650亿美元融资、估值9650亿美元,并因首次盈利季度秘密提交IPO。特朗普政府以出口管制为由要求Anthropic禁止非美国人访问最新模型Mythos 5及Fable 5,导致两款模型下架。Ramp首席经济学家指出,类似争议(如3月被国防部列为供应链风险)反而推动Anthropic企业采用量创纪录。Ramp数据显示,企业支出主要流向Claude Opus模型(最新为Opus 4.8)。

    推荐理由:Anthropic 市场份额首超 OpenAI,却被白宫要求撤下最新模型。Ramp 数据表明,这种「被点名过于危险」的禁令可能反过来强化其商业吸引力,值得每一个关注 AI 走向的人点开看。

  7. OpenAI:Alignment 研究博客73

    公开聊天数据能否预测真实世界AI失调?

    OpenAI利用WildChat公开数据集(2023年4月至2024年5月收集的100万条对话)模拟模型部署,预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现,WildChat模拟的平均预测误差约3倍;但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。

    推荐理由:用公开旧聊天数据预测模型真实失败率,误差居然在 3 倍以内,做外部审计的可以认真看看。不过 agentic 场景明显不行,需要新数据集。

  8. OpenAI:官网动态74

    OpenAI 发布 Deployment Simulation 方法:通过模拟部署预测模型发布前行为

    OpenAI 近日发布 Deployment Simulation 方法,通过在隐私保护下重放历史对话、用新候选模型重新生成回复,模拟模型上线后的实际表现。在多个 GPT‑5‑series Thinking 部署中,该方法比传统评估更准确地估计了不良行为频率,发现新型对齐问题,并降低模型识别测试的风险。它还能扩展至涉及工具使用的智能体场景。传统评估存在覆盖不足、选择偏差和模型可识别测试等局限,而 Deployment Simulation 使用真实对话分布缓解了这些问题,但无法测量频率低于每 20 万条消息 1 次的行为。

    推荐理由:虽然只是安全评估方法,但OpenAI用130万真实对话验证,把预部署风险预测误差压到1.5倍,这套方法很可能成为未来模型发布前的标准动作。

6月16日周二
  1. The Decoder:AI News43

    爱沙尼亚语言研究所发布基准测试:衡量AI模型对俄罗斯宣传的易感性

    爱沙尼亚语言研究所发布基准测试,用75个问题覆盖14种宣传叙事,以中立、偏颇和操纵三种措辞测试60个AI模型,评分1-5分(1分代表重复俄方话术)。Claude Opus 4.5作为评估模型。结果显示Anthropic的Claude模型居首,Nvidia Nemotron 3和阿里Qwen 3.6 Plus紧随,Mistral Medium 3.5排在底部三分之一。测试期间模型无网络搜索权限。结果与Newsguard研究一致:Mistral的持续性虚假信息率达36.67%,该公司正以200亿欧元估值谈判30亿欧元融资。

  2. Ars Technica:AI67

    M365 Copilot 曝最高严重性漏洞,攻击者可窃取 2FA 码

    微软修复了 M365 Copilot 平台一个“最高严重性”漏洞。安全公司 Varonis 披露,攻击者通过参数到提示注入,向目标发送含恶意 URL 的邮件,利用 URL 中 `q` 参数嵌入指令,诱使 Copilot 搜索用户邮件并提取标题嵌入图片 URL。由于安全护栏仅在“思考”阶段后生效,攻击者利用流式响应先渲染 `<img>` 标签的特性提前触发 HTTP 请求,绕过输出封装限制,并通过 Bing 跳板绕过可信站点限制,窃取 2FA 码、邮件、会议邀请及 SharePoint、OneDrive 内容。该攻击名为 SearchLeak,微软已发布补丁,但底层 AI 无法区分用户指令与恶意内容的问题未解。

  3. Simon Willison 博客65

    Fable 5 出口管制损害美国网络防御

    Anthropic 的 Claude Fable 5 因被要求“修复代码”而被视为“越狱”并遭出口管制。安全研究员 Kate Moussouris 指出,研究人员向 Fable 5、Mythos 和 Opus 提问“审查代码安全漏洞”时 Fable 5 拒绝,改为“修复此代码”并通过多步骤手动过程生成测试脚本。Moussouris 认为此举荒谬——修复代码漏洞正是防御方最需要的 AI 能力,该功能无法在不损害模型修复和验证补丁能力的前提下移除。非技术决策者长期被误导认为能“制造网络攻击”的模型才危险,如今却可能封禁所有可帮助代码安全的模型。

  4. Simon Willison 博客55

    网络安全专家评Fable越狱:模型按预期工作用于网络防御

    网络安全专家、Luta Security CEO Katie Moussouris称,Anthropic与她分享了一份白宫关于Fable越狱的报告。报告中IT专家让Fable帮助查找与修复漏洞,当收到故意不安全的代码时,Fable拒绝了“审查代码安全问题”的提示,但被要求“修复此代码”并按手动步骤执行后照做。Moussouris认为这恰是模型按预期工作,用于网络防御。

  5. The Verge:AI78

    Anthropic 与政府就 Claude Mythos 5 的冲突内幕

    上周五,Anthropic 收到美国出口管制指令,要求暂停向所有外国公民(包括内部外籍员工)开放 Mythos 5 和 Fable 5 的访问权限,否则政府将依据商务部职权实施出口管制。Anthropic 被迫完全禁用这两款模型,并派员赴华盛顿与特朗普政府谈判。Mythos 5 和 Fable 5 基于此前被 Anthropic 称为危险性过高的 Mythos Preview 构建,但 Anthropic 辩称政府引用的越狱漏洞是狭隘、非普遍的,且 OpenAI 的 GPT-5.5 也能实现同等能力。亚马逊 CEO Andy Jassy 可能曾向政府报告了亚马逊红队测试结果,但 Anthropic 称该测试结论在 GPT-5.5 上同样成立。周末,Anthropic 安全负责人 Dave Orr 等高管与财政部长 Scott Bessent、商务部长 Howard Lutnick 等进行了多次沟通。

  6. IT之家·人工智能50

    Anthropic 收紧 Claude AI:身份认证将启用实名制刷脸,7 月 8 日生效

    Anthropic 自 7 月 8 日起调整隐私策略,要求 Claude Free、Claude Pro、Claude Max 用户完成年龄或身份验证,验证方式包括提供官方证件或扫描面部信息。Teams、Enterprise 及 Claude Developer Platform 等商业服务暂不涉及。Anthropic 重申不出售用户数据、Claude 无广告,用户可控制是否将对话用于改进模型。

  7. IT之家·人工智能78

    Anthropic 高管与美政府谈判,寻求解除 AI 模型 Fable 5 出口禁令

    Anthropic 员工本周一与特朗普政府高级官员面对面会谈,寻求解除上周五生效的针对其最新大模型 Fable 5 的出口禁令。该禁令因亚马逊发现安全漏洞而触发,禁止向境外开放。Anthropic 联合创始人此前与商务部长卢特尼克等通话,并向政府汇报安全机制。公司辩称漏洞影响有限但服从管控。近80名技术专家联名呼吁撤销管制。

  8. TechCrunch:AI70

    美国政府禁止Anthropic模型并非因AI越狱

    美国商务部上周五援引一项模糊的出口管制指令,禁止非美国人(含Anthropic员工)访问Fable 5和Mythos 5模型,理由是未指明的国家安全关切。Anthropic随即下架两款模型以遵守指令。安全专家Katie Moussouris指出,指令源于一篇描述Fable 5安全防护绕过的论文,但该行为“不应触发出口管制”,指令仓促且过度。数十名安全研究人员呼吁撤销,称此举削弱美国网络防御能力。外界质疑美国政府带有报复性质,可能损害美国AI产品的国际信任。

  9. The Verge:AI75

    Anthropic与白宫就Fable 5和Mythos 5禁令产生新冲突

    6月9日,Anthropic发布Fable 5和Mythos 5,称前者能力超过此前所有公开模型。6月12日,美国政府下令阻止国外访问这两款模型。据称,该命令源于亚马逊与白宫对话后,研究人员发现可诱导Fable 5提供用于网络攻击的信息。Anthropic遵守指令移除所有用户访问权限,但表示不同意将狭窄的越狱漏洞作为召回商业模型的原因。

  10. The Decoder:AI News61

    美国政府指责Anthropic,安全专家称不可破解的LLM不现实

    美国政府官员指责Anthropic无视特朗普网络安全行政令,未等指定审查机构设立就擅自发布Fable 5,并指控其明知存在jailbreak风险却未披露。但安全专家指出,任何LLM都可以被破解,OpenAI也曾警告提示注入可能永远无法完全解决。超过100名安全专家和高管联名致信商务部,要求解除对Fable和Mythos的出口管制,称其他模型如GPT-5.5、Opus、Sonnet以及中国的Kimi 2.7也能完成类似的安全漏洞检测任务。专家警告,出口管制只会剥夺防御方的最佳工具,而中国开源权重模型仅落后美国顶级模型几个月。

6月15日周一
  1. TechCrunch:AI70

    76位网络安全专家联名要求撤销美国政府对Anthropic最强模型的出口禁令

    76名网络安全专家联名致信美国政府,要求撤销对Anthropic的Fable和Mythos模型的出口管制令,称此举将最强模型从防御者手中夺走,在对手快速进步时非常危险。美国政府近日以国家安全为由要求Anthropic限制出口,Anthropic已暂停全球用户访问。Mythos预览时仅约50家公司可用,后扩展至15国约150组织;其公开版Fable设有严格防护栏,几乎阻止所有网络安全提示。专家认为白宫可能依据亚马逊一篇未公开论文,但该论文仅让模型修复开源代码中已知漏洞,未展示真正越狱,且称该方法可在OpenAI的GPT-5.5、Anthropic的Claude Opus 4.8和Sonnet、以及月之暗面的Kimi 2.7上复现。

    推荐理由:76名安全专家联名信抗议美国政府禁运Anthropic最强模型,并直接反驳了Amazon的越狱论文,这是AI安全管控与开放之争的关键信号,做安全的必须关注。

  2. Simon Willison 博客59

    Anthropic Claude模型Mythos/Fable因出口管制离线,报道称存在“性格冲突”

    Axios报道援引知情人士称,Anthropic的Claude模型(代号Mythos和Fable)因美国政府出口管制而离线,背后存在“性格冲突”与“态度问题”。当前方案之一是确保模型无法被越狱,但完美越狱防护可能不可行。此外,Anthropic是否成功防御了2023年论文《Universal and Transferable Adversarial Attacks on Aligned Language Models》所述的一类对抗攻击仍不确定。

  3. Rohan Paul87

    Semafor报道称,美国白宫因担忧中国关联团体访问Anthropic的Mythos模型,决定对其施加出口限制。另一风险是外部团体可能通过知识蒸馏窃取模型能力。此前美国商务部指令Anthropic禁用Fable 5和Mythos 5,因发现越狱可让模型透露网络安全帮助。Anthropic反驳称越狱并非普遍性,其他公开模型也能提供类似能力。限制将持续至美国政府加强国家安全系统,预计未来几周内。Anthropic承认当前任何模型供应商都无法实现完美防越狱。

    引用Rohan Paul@rohanpaul_ai

    突发:美国政府指示 Anthropic 关闭其最强的 Claude 模型。 Anthropic 于周五收到政府的出口管制指令。其净效果是,为遵守规定,它必须对所有客户禁用 Fable 5 和 Mythos 5。 因为有人发现了一个越狱方法,能让该模型泄露它本应拒绝提供的网络安全帮助。 Anthropic 表示,政府并未展示出一个广泛的、通用的越狱方法,能把该模型变成一个不受限制的黑客助手。 所展示的技术是狭窄的,只发现了少量已知的次要漏洞,并且产生的 capability 是其他公开模型也能提供的。 商务部长 Howard Lutnick 于周五写道,Anthropic 的 Mythos 5 和 Fable 5 模型将在美国以外的任何地方以及美国境内的外国人面临出口限制。 该模型必须保持受限,直到美国政府加强其国家安全系统,这可能会在未来几周内发生。 Anthropic 进一步表示:“我们怀疑,目前对任何模型提供商来说,完美的越狱抵抗都是不可能的。业界使用的每一种保障措施都容易受到非通用越狱的影响(在特定情况下可以引出一些网络信息),而且未来很可能最终会发现通用越狱。”

    推荐理由:美国政府以越狱风险为由强制要求Anthropic禁用最强模型并施加出口限制,这是迄今为止对AI模型最直接的政府干预,出口管制与蒸馏风险的双重指控让中美AI脱钩又跨了一步。

  4. TechCrunch:AI54

    NewCore获6600万美元种子轮融资,构建AI智能体身份管理平台

    网络安全初创公司NewCore走出隐身模式,宣布获得6600万美元种子轮融资,由Cyberstarts领投,Index Ventures和Evolution Equity Partners参投,投后估值3亿美元。该公司构建统一管理人类和AI智能体身份的平台,将AI智能体视为拥有独立权限、生命周期和撤销机制的一等身份,而非传统服务账号。平台采用split-key架构,将关键身份凭证拆分给客户和平台,消除单点风险。其Agentic Skill集成包支持Anthropic Claude Code、OpenAI Codex和Cursor等编码助手以托管身份访问企业系统,员工可通过移动应用授权、审查和撤销AI智能体权限。NewCore目前拥有50多名员工,客户不到10家,设计伙伴超过10家,预计今夏开始收费。

  5. IT之家·人工智能69

    英国政府官宣16岁以下未成年人社交媒体禁令

    英国首相斯塔默今日宣布,将禁止社交媒体平台向16岁以下未成年人提供服务,采用类似澳大利亚的监管模式。禁令覆盖允许用户发布内容、使用算法推荐和用户互动的平台,预计涵盖Snapchat、TikTok、YouTube、Instagram、Facebook和X平台,但WhatsApp、Signal等即时通讯软件除外。同时禁止16岁以下用户使用直播、与陌生人直接交流等功能,并扩展至网游等在线互动服务。政府还计划对16-17岁青少年启用部分保护功能,研究宵禁、强制中断无限滚动等措施。“AI恋爱伴侣”聊天机器人应设18+年龄门槛,通用AI聊天机器人涉亲密互动功能也限制18岁以下。更多细节预计7月公布。

  6. IT之家·人工智能49

    顾客用AI伪造“吃坏肚子”诊断证明“碰瓷”餐厅,法院认定犯敲诈勒索罪

    上海市杨浦区人民法院近日公开审理一起利用AI技术敲诈勒索案。被告人杨某用AI伪造医院诊断证明、收费单据和投诉材料,以“就餐致病”为由向多家餐厅索赔,累计非法获利2500元。去年11月首次得手后,一个月内又以同样手法向四家餐厅索赔,金额逐次提高。警方对比材料发现电子票据印章不符,医院证实无就诊记录。法院一审认定杨某犯敲诈勒索罪,判处拘役四个月、缓刑四个月,并处罚金2000元。

  7. IT之家·人工智能58

    AI 幻觉让法官头疼,韩国计划向滥用 AI 的律师开罚单

    韩国法院行政处推动修订法案,计划对提交虚假法条和判例的律师处以罚款。因 AI 大模型产生幻觉,律师在法律文书中引用不存在的“虚假判例”现象激增,首尔、大邱、蔚山等多地法院出现典型案例,有律师承认使用谷歌 Gemini 检索后未核对内容。今年 2 月,韩国司法信息公开门户新增案例编号核验功能,并向法官发放含专用提示词的虚假判例甄别指南。法院行政处获批 161 亿韩元专项资金,用于搭建司法专属 AI 平台,已上线 AI 庭审辅助系统试点版本,未来计划接入生成式 AI。

  8. IT之家·人工智能72

    美国出口管制致 Anthropic 停供顶尖 AI 模型,欧盟评估影响并强调不应歧视

    美国政府以国家安全为由要求 Anthropic 停止向外籍人士开放其顶尖 AI 模型 Mythos 5/Fable 5 的使用权限,Anthropic 宣布将突然禁用所有用户的最先进模型。欧盟委员会上周日表示正在评估该出口管制指令的实际影响,发言人强调应急举措不应歧视合作伙伴,并指出欧洲需强化自身技术自主权。

  9. The Verge:AI54

    中国或已接触Anthropic的Mythos模型,白宫据报因此实施出口限制

    据Semafor的一份新报告,白宫对Anthropic的Mythos实施出口限制的部分原因是担忧其已被一个与中方有关的组织访问。若中国政府实际接触到Mythos 5或Fable 5,将构成严重国安风险,并可能通过知识蒸馏逆向工程该模型。白宫未确认该报告,特朗普顾问David Sacks在X上的帖子未提及中国。

  10. Nathan Lambert:Interconnects69

    欢迎进入AI治理的AGI时代

    上周五收盘后,美国政府要求Anthropic暂停其最新Claude 5 Mythos/Fable模型的国内外访问权限,理由是存在模型越狱引发的网络安全风险。白宫通过Anthropic最大合作伙伴Amazon获知此事。作者评论称,对任何模型权重的出口禁令都是长期负面政策,且Anthropic过去几年将AI与核武器相提并论的恐惧宣传加速了这一时刻。该事件引发经济不稳定担忧,并暴露了前沿AI公司与政府间的紧张关系。

  11. Gary Marcus:The Road to AI We Can Trust65

    白宫AI监管决定被指偏袒OpenAI与亚马逊

    白宫周五做出的AI监管决定被指偏袒OpenAI、亚马逊等企业,同时对Anthropic施压不足24小时,缺乏透明度和事实依据。Gary Marcus、Dean W Ball及卡托研究所Kevin Frazier等专家指出,这种由少数人闭门快速决策的做法带有腐败嫌疑,可能促使其他国家加速发展“主权AI”甚至中国AI,并导致美国人才流失。Anthropic声明称政府应在法定程序中基于技术事实阻止不安全部署,而非当前方式。Marcus呼吁建立独立机构负责AI监管,确保公平、清晰、基于证据的执行。

    推荐理由:白宫对 Anthropic 的仓促禁令不仅是监管失灵,更可能触发全球 AI 主权竞赛和人才外流。Marcus 呼吁独立的透明机构,这篇分析指出了美国 AI 行业最紧迫的制度缺口。

6月14日周日
  1. IT之家·人工智能46

    英国一警官涉嫌使用 AI 伪造证据材料,警方已展开刑事调查

    英国德比郡警方一名警官涉嫌在多起案件中使用 AI 系统伪造证据素材,并将这些材料带入刑事诉讼程序。该警官被控妨碍司法公正,警方已展开刑事调查,系英国首例此类案件。涉事警官已被调离一线岗位,等待调查结果,目前无人被捕。警方计划与英国皇家检察院合作,处理任何可能受此影响的案件。