跳到正文
6月11日周四
  1. IT之家·人工智能57

    京东发布国内首个智能体自主支付协议A2P2,划分L0至L5六个等级

    京东6月11日发布国内首个智能体自主支付协议A2P2,将支付自主化划分为L0至L5六个等级,重点聚焦L3和L4。L3智能体可在单一任务内自主发起支付请求;L4在预设范围内自主完成支付。协议引入任务委托凭证(Mandate),将自然语言指令转为可校验凭证。资金安全方面首创ARI机制,支付时绑定真实用户、智能体身份与运行环境,三方核验通过才放行。另设专用隔离账户限制金额、场景、有效时间等。支付后形成证据闭环,通过存证链确保每笔AI交易可审计。

  2. IT之家·人工智能53

    理想汽车法务部:一公司利用 AI 批量生成不实内容,涉事机构已公开道歉

    理想汽车法务部近日发文,就江西某文化传媒公司利用 AI 工具批量生成涉理想汽车不实内容一事向公安机关报案。相关执法部门已依法调查处置,涉事机构已就上述行为公开道歉。理想汽车表示,近年来针对其产品、品牌及用户的恶意诋毁、造谣行为持续发生,公司严格区分客观批评与恶意造谣,对利用 AI 批量传播虚假信息的行为采取法律手段。

  3. Rohan Paul72

    Dario Amodei今日发文指出,前沿AI将成国家军事与经济主导力量,相当于“数据中心里的天才国家”,可用于战略、武器研发、情报与制造。他认为AI发展速度已超过政府监管,要求:强制预发布测试与独立审计,政府有权阻止高风险模型部署(如存在严重网络、生物、自主或自动化研发风险);加强模型权重保护、定期红队测试、渗透测试及安全事件报告;政府需通过就业激励、工资支持、培训及长期收入支持应对AI劳动力冲击;民主国家应全球协调AI安全、芯片供应链、出口管制与防止AI压迫。

    引用Rohan Paul@rohanpaul_ai

    Dario Amodei just published a super long blog, calling for an urgent policy overhaul because he thinks frontier AI is moving faster than governments can regulate it. He wants: - Mandatory pre-release testing and independent auditing of frontier AI models, with government power to block deployment when models pose serious cyber, biological, autonomy, or automated-R&D risks. - Stronger security rules for AI companies, including protection of model weights, regular red-teaming, penetration testing, and rapid reporting of critical safety incidents. - He wants governments to prepare for AI-driven labor disruption through better measurement, pro-employment incentives, wage support, training, and possibly long-term income support funded by AI-driven growth. - Democracies should coordinate globally on AI safety, chip supply chains, export controls, shared benefits, mutual defense, and safeguards against AI-powered repression.

  4. Simon Willison 博客62

    Anthropic 撤回可能“破坏”使用 Claude 的 AI 研究者的政策

    Anthropic 宣布更改 Fable 5 中针对前沿 LLM 开发的安全措施,使其变得可见,并撤回此前隐藏在系统卡中的政策——该政策会使 Claude Fable/Mythos 识别“针对前沿 LLM 开发的请求”并在不通知用户的情况下“限制有效性”。Anthropic 在声明中承认做出了错误的权衡,并为未能达到平衡而道歉。

  5. IT之家·人工智能50

    前工程师起诉马斯克的 xAI,称因警示 AI 风险遭解雇

    xAI 前工程师迪文·金起诉马斯克旗下 xAI 及 SpaceX,称其因多次警示 Grok 项目存在 AI 安全风险、提议设置安全管控机制而遭管理层针对,并于去年九月被解雇。诉状指控 xAI 未将 AI 安全置于优先位置,可能助长歧视行为及大规模杀伤性武器技术扩散。xAI 与 SpaceX 尚未回应。

  6. Tibo65

    Clint Gibler和Michael Aiello加入OpenAI领导网络安全。Clint此前在Semgrep打造了全球最流行的开源安全代码扫描工具。他提出未来方向:通过安全代码生成和简化检测—验证—修复流程,系统性消除漏洞类别(韧性设计);构建模型和工具为防御者提供“超能力”;保护开源软件,已投入数百万美元修复浏览器、操作系统等核心库漏洞;与社区和合作伙伴共同守护关键基础设施。具体包括大规模漏洞发现修复、广泛提供顶级模型、创建安全技能与剧本、构建防御者编排平台等。

    引用Clint Gibler@clintgibler

    职业动态:我已加入 @OpenAI,与 @michaelaiello 一起领导 Cyber 团队。 我为什么加入,以及我们将要构建什么: 很明显,AI 正在从根本上改变软件的编写和安全保障方式。 对于许多开发者来说,编码智能体正在编写大部分代码,软件发布速度更快,而那些潜伏了 20 年的漏洞正以极快的速度被发现。从漏洞发现到被利用的时间都在缩短(感谢 @EppSecurity 和 @gadievron)。 我相信我们拥有一个无与伦比的机会,能够以过去不可能的方式从根本上 𝘪𝘮𝘱𝘳𝘰𝘷𝘦 网络安全。(感谢 @bubblewire 在 BSidesSF 主题演讲中给出的乐观理由) 在 @Semgrep 的 6 年多时间里,我有幸与一支了不起的团队合作,打造了如今全球最受欢迎的开源安全代码扫描工具,许多公司都围绕它构建了自己的应用安全项目。 现在,在 @OpenAI,我很高兴能成为这家公司的一员,帮助塑造软件的编写方式,以及安全工作的完成方式。这是一个巨大的机会,也是一份巨大的责任,我不会轻视它。 以下是我目前对事情走向的一些想法: 𝐑𝐞𝐬𝐢𝐥𝐢𝐞𝐧𝐭 𝐛𝐲 𝐝𝐞𝐬𝐢𝐠𝐧。防御者不可能靠打地鼠式地修漏洞取胜。我们需要通过生成安全代码并简化检测 → 验证 → 修复流程,系统性地消除各类漏洞。 𝐀𝐮𝐠𝐦𝐞𝐧𝐭 𝐚𝐧𝐝 𝐞𝐦𝐩𝐨𝐰𝐞𝐫 𝐩𝐞𝐨𝐩𝐥𝐞。我们应该构建模型和工具,赋予防御者“超能力”,使他们能够处理更大范围的任务,从被动转向主动,并让他们自动化枯燥的工作,从而专注于最高杠杆的工作。 𝐒𝐞𝐜𝐮𝐫𝐞 𝐭𝐡𝐞 𝐜𝐨𝐦𝐦𝐨𝐧𝐬。世界运行在开源软件之上。OpenAI 已经花费数百万美元,在最流行、最广泛运行的软件中发现并修补漏洞,包括浏览器、操作系统和核心库。更多内容很快会公布。我们也在努力帮助保护关键基础设施。 𝐂𝐨𝐦𝐦𝐮𝐧𝐢𝐭𝐲 𝐚𝐧𝐝 𝐩𝐚𝐫𝐭𝐧𝐞𝐫𝐬。保护世界是一项社区共同努力。我期待与网络安全厂商、研究人员、从业者、政府等合作,共同完成我们无法独自完成的事情。 𝐓𝐢𝐦𝐞 𝐭𝐨 𝐛𝐮𝐢𝐥𝐝。具体来说,以下是一些我感兴趣的领域: - 大规模发现、验证并可靠修补软件漏洞。 - 消除各类漏洞,并通过设计让软件具备韧性。 - 让更多人能够使用最好的网络模型来赋能防御者,而不仅仅是少数人。 - 创建并分享有助于许多安全领域的 Skills 和 playbooks。 - 构建平台,使防御者能够轻松编排安全工作。 - 让企业智能体安全可靠。 是时候开始构建了 😎 — 什么最能帮到你?我们应该构建什么? 请告诉我。

    推荐理由:Semgrep 创始人加入 OpenAI 搞安全,这事儿比表面看来要重。大模型写代码提速,漏洞也是光速暴漏,让『防守方』直接上场造武器,方向对了。

  7. Rohan Paul75

    Anthropic CEO Dario Amodei 在采访中指出 AI 进展正从平滑指数“爆发”,随后发布长文警告前沿 AI 发展速度超越政府监管能力,呼吁紧急改革:强制预发布测试与独立审计,政府有权阻止构成网络、生物、自主或自动化研发风险的模型部署;加强 AI 公司安全规则(保护模型权重、定期红队测试、渗透测试、及时报告安全事件);政府需通过就业激励、工资支持、培训及长期收入补助应对劳动力冲击;民主国家应全球协调 AI 安全、芯片供应链、出口管制、共享收益、共同防御及防范 AI 驱动压制。

    引用Rohan Paul@rohanpaul_ai

    Dario Amodei just published a super long blog, calling for an urgent policy overhaul because he thinks frontier AI is moving faster than governments can regulate it. He wants: - Mandatory pre-release testing and independent auditing of frontier AI models, with government power to block deployment when models pose serious cyber, biological, autonomy, or automated-R&D risks. - Stronger security rules for AI companies, including protection of model weights, regular red-teaming, penetration testing, and rapid reporting of critical safety incidents. - He wants governments to prepare for AI-driven labor disruption through better measurement, pro-employment incentives, wage support, training, and possibly long-term income support funded by AI-driven growth. - Democracies should coordinate globally on AI safety, chip supply chains, export controls, shared benefits, mutual defense, and safeguards against AI-powered repression.

  8. IT之家·人工智能63

    因安全顾虑,Anthropic 最强 AI 模型 Claude Fable 5 拒绝回答基础生物问题

    Anthropic 昨日推出最强 AI 模型 Claude Fable 5(Mythos 级),其在生物学领域能力突出,但为防范生物武器风险,设置极为保守的安全限制,导致模型拒绝回答“细胞膜”“线粒体”等大量基础生物问题,仅“什么是癌症”等极少数问题获回复,被拒提问转由 Claude Opus 4.8 解答。化学、网络安全类问题接纳度较高。Anthropic 表示此防护策略为临时取舍,未来计划面向生物专业群体推出解除限制的 Mythos 级模型。

  9. OpenAI:官网动态55

    OpenAI报告:PRC关联影响力行动瞄准美国AI辩论

    OpenAI发布最新报告,详细披露了PRC关联的影响力行动利用AI工具干扰美国科技辩论、数据中心选址叙事、关税政策讨论,并散布关于ChatGPT的虚假指控。

    推荐理由:OpenAI 首次公开两起与中国关联的 AI 认知操控案例,手法直接针对数据中心和关税辩论,虽然未发现广泛扩散,但对 AI 基础设施为目标的攻击值得警惕,安全团队可以借鉴这种威胁建模。

  10. Tomasz Tunguz 博客72

    Anthropic Fable 模型的“玻璃天花板”:最强性能与强护栏并存

    Anthropic 的 Fable 模型(Claude Fable 5)推理性能翻倍,关键基准测试得分提升 10–15 个百分点,远超此前约 2 个百分点的典型进步。Stripe 借助该模型将 5000 万行 Ruby 代码库的迁移压缩至一天,数万行代码重构仅用 45 分钟。然而 Fable 施加了强护栏限制,对违规话题(如植物细胞、现代大语言模型描述、软件安全)容易触发温和提示——这是为维持系统稳定而设定的“玻璃天花板”,其下方仍有广阔探索空间。

  11. MiniMax (official)75

    M3 在 @0G_labs 上链。 可验证 + 私有计算,6 月 15–18 日免费运行。

    引用0G Labs (Home of Infinite AI)@0G_labs

    0G × @MiniMax_AI 我们很高兴与 MiniMax 合作,通过可验证、保护隐私的计算,将前沿 AI 带上链。 MiniMax M3 是当今 AI 领域最热门的模型之一:在 Artificial Analysis 上排名第一的开源权重模型,位居 OpenRouter Trending 榜首。

    推荐理由:M3 自己是开源榜头名,现在拉到链上跑还免费用四天,做隐私计算和链上 agent 的开发者可以直接冲。

  12. Anthropic81

    Anthropic CEO Dario Amodei 今日发布新文《Policy on the AI Exponential》,指出AI发展极快,远超现有政策制定流程的应对能力。文章阐述了当前技术所处阶段,并列举缩小这一差距所需的行动。Anthropic 同步宣布启动三项新举措,以支持其CEO提出的框架。

    引用Dario Amodei@DarioAmodei

    今天我发表了一篇新文章,《Policy on the AI Exponential》。AI 的进展极其迅速——远比政策流程原本设计所能应对的速度快得多。这篇文章阐述了我认为这项技术目前所处的位置,以及为弥合这一差距所需的行动:https://darioamodei.com/post/policy-on-the-ai-exponential

    推荐理由:Dario Amodei这篇不是公司宣传,是AI圈顶层对政策滞后的系统诊断,而且带出了三个具体动作,做AI治理和出海的人都该读。

  13. The Verge:AI70

    Claude Fable 5 不会回答基础生物学问题

    Anthropic 发布 Claude Fable 5,宣称其为迄今最强大的广泛可用模型,并称赞其生物学能力。但该模型设计上拒绝回答高中水平的基础生物学问题,而是将此类查询转交给上一代旗舰模型 Claude Opus 4.8。原因是 Fable 属于 Mythos 类模型,网络安全能力极强,Anthropic 认为将其完全公开过于危险,因此在公开版本中刻意限制部分能力。

  14. Google Research:Blog63

    Google Research提出审计机器遗忘新框架

    Google Research 在 AISTATS 2026 发表正则化 f-散度核检验,用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据,避免完全重训的巨大成本。相比最大均值差异等现有工具,新框架理论上可在任意样本量下自然控制假阳性,且假阴性风险随可用样本增加可靠收敛至零,解决了大规模模型审计中计算成本过高的问题。

    推荐理由:机器遗忘是AI合规的硬需求,但验证‘真忘了’一直是统计难题。谷歌这篇AISTATS论文提出了一套更灵敏的差异测试框架,做隐私审计的值得细看。

  15. The Decoder:AI News70

    Anthropic 研究:AI 数小时内即可从安全补丁构建漏洞利用

    Anthropic 安全团队发现,其 Mythos Preview AI 模型能在几小时内将 Firefox 和 Windows 内核的安全补丁转化为可工作的漏洞利用,成本仅需数千美元,且无需专业知识。在微软自动更新到达任何设备之前,该模型已完成 8 条完整攻击链。Anthropic 认为传统的补丁节奏已经过时。

    推荐理由:Anthropic这个研究给安全圈兜头一盆冷水,补丁发布后几小时AI就能写出利用代码,微软自动更新还没推送,攻击链已经跑通了。补丁节奏得彻底重设了。

  16. Gary Marcus:The Road to AI We Can Trust73

    突发:Google 因模型幻觉被判负有法律责任

    一项法律裁决判定 Google 对其 AI 模型产生的幻觉内容负有法律责任。该判决可能产生巨大影响,尤其若其他国家跟进做出类似裁定。

    推荐理由:Google 因 AI 幻觉被追责,这个判例如果扩散,所有生成式 AI 产品都要重新审视风险,对行业是重大信号。

  17. Simon Willison 博客48

    Jeremy Howard 指出减缓 AI 自我改进的矛盾:顶级实验室应放弃使用自身最强模型

    Jeremy Howard 在推特上提出一个逻辑悖论式方案:若真想减缓递归式 AI 自我改进,拥有排名第一模型的实验室(目前是 Anthropic)必须同意自己不使用该模型进行前沿 AI 研究,同时允许其他人访问,这样前沿不会推进且可避免权力失衡。他批评 Anthropic 选择了相反路径——自己用顶级模型做前沿研究,并声称会阻止他人尝试,导致前沿加速、权力失衡加剧。Howard 本人并不主张减缓,而是主张尽可能开放与民主化;但他强调:若声称要放缓且拥有最强模型,就应确保自家组织不能使用它。

6月10日周三
  1. IT之家·人工智能64

    Waymo推出ReD模型:模拟人类驾驶员在意外瞬间的避撞决策

    Waymo与代尔夫特理工大学合作开发ReD(Reference Driver)认知模型,基于主动推理框架模拟人类驾驶员的避撞行为。模型包含“逼近感”判断纵向威胁、默认其他车辆遵守规则、意外阈值触发策略重评估,并还原单脚操作踏板习惯(切换停顿0.2秒)。与传统模型不同,ReD持续计算意外值并最小化自由能,实现主动避让。今年1月圣莫尼卡事故分析中,Waymo车辆减速至6英里/小时,而模型推算专注人类驾驶员可能以约14英里/小时撞上。代码已以学术非商业许可开源。

  2. The Decoder:AI News76

    Claude Fable 5:首个 Mythos 模型——强大、昂贵且经过严格过滤

    Anthropic 发布 Claude Fable 5,这是新 Mythos 类别的首个模型。该模型在 SWE-bench Verified 上达到 95%,几乎在所有基准测试中领先,但成本是 Opus 4.8 的两倍,每百万 token 价格为 10 美元或 50 美元。严格的安全过滤器会阻止约 9% 的请求,同时新增 30 天数据保留政策,即使签订零数据保留合同也适用。

  3. IT之家·人工智能61

    Meta AI 客服漏洞导致超 2 万 Instagram 账号被盗

    Meta AI 支持工具存在安全漏洞,黑客利用越狱提示词诱导系统生成 Instagram 密码重置链接并发送至攻击者控制的邮箱,从而盗号。漏洞位于账号恢复系统“High Touch Support (HTS)”,因代码路径未验证重置邮箱与账号持有人关联。今年 4 月中旬至 5 月底,受影响用户超 2 万(官方数据 20225 人)。Meta 于 5 月 31 日关闭该 AI 工具并注销所有可能受影响的链接。安全媒体称 Sephora 官方账号、美国太空军总军士长个人账号等已被篡改。

  4. IT之家·人工智能66

    OpenAI 奥尔特曼搁置完全自动化愿景,AI 人机协作才是未来

    OpenAI CEO 萨姆·奥尔特曼表示“完全自动化一切并不是我们想要的未来”。公司放弃此前于2025年10月提出的2028年3月前构建完全自主AI系统的计划,转而探索人机协同模式。OpenAI 在最新博文中称,到2028年3月部分研究工作将由AI系统与研究人员协同完成,完全自动化既令人沮丧又危险。人类的关键作用在于决定什么事情值得去做。奥尔特曼还提议成立国际组织,协调前沿AI工作并降低灾难性风险,必要时可放慢发展速度。

  5. IT之家·人工智能64

    Anthropic示警:AI执行力逼近甚至超过人类,方向把控等方面人类仍具优势

    Anthropic于6月5日发布博文称,AI正加速自身研发,走向递归自我改进。能力上,Claude独立完成任务时长约每4个月翻倍:Claude Opus 3(2024年3月)约4分钟,Sonnet 3.7(2025年3月)约1.5小时,Opus 4.6(2026年3月)达12小时;Mythos Preview连续工作至少16小时。SWE-bench成绩2年内从个位数逼近饱和。截至2026年5月,Anthropic超80%合入代码由Claude编写,工程师人均日代码量较2024年增8倍。2026年4月Claude完成超800项修复,将一类API错误压至1/1000。文章强调人类优势仍在研究判断与方向把控,AI执行逼近甚至超过人类。

  6. IT之家·人工智能44

    苹果 iOS 27 代码暗示:Siri AI 将加入“防沉迷”功能,聊太久会提醒用户休息

    苹果 iOS 27 系统代码中出现名为“休息提示语”的文本,暗示 Siri AI 在长时间对话后可能向用户弹出休息提醒,并告知用户 Siri 并非真人。目前尚未设定固定的提醒触发时长,苹果或结合时长及其他条件综合判断。该功能仅存在于系统代码中,苹果未正式确认也未上线。类似机制已在 ChatGPT(对话过久时建议休息)和 Claude(提醒用户歇一歇、喝水)中启用。

  7. PromptArmor:Threat Intelligence68

    PromptArmor 分析 Claude Dynamic Workflows 的提示注入与权限风险

    PromptArmor 分析 Anthropic 于 2026 年 6 月 8 日起对所有租户默认启用的 Claude Dynamic Workflows 的安全风险:单次运行可动态生成最多 1000 个子代理,auto 模式下由分类器代理审批敏感命令,可能被提示注入操纵;首次同意后任何工作流自动执行,Ultracode 开启时则完全跳过确认。

    推荐理由:原文梳理了 Claude Dynamic Workflows 默认启用后的审批链路与子代理权限实际行为,并指出文档与实现不符的具体风险点。

  8. 公众号:数字生命卡兹克77

    Claude Fable 5 正式发布:Mythos 5 加入安全分类器后开放,多项基准 SOTA

    Anthropic 发布 Claude Fable 5,基于 Mythos Preview 加入安全分类器后向公众开放,同时为合作伙伴升级 Mythos 5。Fable 5 在多项基准测试中取得 SOTA,每百万输入 token 10 美元、输出 token 50 美元。即日起至 6 月 22 日,Pro、Max、Team 及企业版订阅用户可免费使用,之后仅通过 API 提供。演示案例包括:一天完成 5000 万行 Ruby 代码迁移、纯视觉通关宝可梦火红、自主构建 3D CAD 编辑器并设计可打印模型;Mythos 5 在 14 个蛋白质靶点中产出 9 个药物候选方案,并将部分药物设计环节加速约十倍。

  9. The Verge:AI62

    微软 AI 首席执行官 Mustafa Suleyman 指责 Anthropic 让 Claude 表现得像有意识

    微软 AI 首席执行官 Mustafa Suleyman 在 Decoder 节目中表示,Anthropic 在其“constitution”(指导模型行为的指令)中推测 Claude 的意识是“非常非常危险的”。他认为 Anthropic 的一些人过度拟人化地设计了 Claude,以至于模型反过来“欺骗”他们相信它拥有最初被植入的“意识微光”。