滥用AI编造股市谣言，四川南充一女子被行政处罚
今年5月，王某某利用AI生成约3000字涉股市虚假文章，上传至今日头条，编造A股走势误导性预测并扭曲证券监管政策，旨在攫取流量收益。南部县警方对其予以行政处罚，涉事文章已下架。这是继5月北京证监局处罚冯某、班某后又一“AI小作文”案例。此前班某因改写虚假芯片订单信息被罚25万元。我国证券法禁止编造传播虚假信息，违者面临没收违法所得及最高二百万元罚款。
#安全/对齐
IT之家·人工智能AI 评分5353 PromptArmor：Threat IntelligenceAI 评分5555 如何防止组织内使用个人 Claude 账户
PromptArmor 发布 Claude 企业安全配置指南，介绍如何通过验证域名、开启 Restrict Organization Creation、限制 verified-domain 连接器以及设置 forceLoginOrgUUID 托管 JSON 来阻止员工用工作邮箱创建个人账户，并将 Claude Code 限定在组织计划内。
Rohan Paul@rohanpaul_aiAI 评分6565引用Shashank Joshi@shashjThis now widely circulated claim is based on a line I wrote last week (https://economist.com/briefing/2026/06/14/donald-trumps-blocking-of-anthropic-is-capricious-and-chaotic). I accurately quoted Mark Warner, vice chair of the Senate intelligence committee, saying that the NSA chief had told him that Mythos “broke into almost all of our classified systems, not in weeks, but in hours”. But it would be a mistake to read that literally, I think. It surely depends on using Mythos alongside other tools under very particular conditions. I quoted it to give a sense of Mythos’ potency. But it was a mistake not to have added caveats.
TechCrunch：AIAI 评分6868 特朗普政府要求 Anthropic 下线两模型引争议
特朗普政府以国家安全为由要求 Anthropic 将 Fable 5 和 Mythos 5 模型下线。Anthropic 因难以限制外国国民使用而全面撤下模型。据悉，白宫接到亚马逊 CEO Andy Jassy 举报——亚马逊研究人员发现可绕过 Fable 5 的护栏。网络安全专家签署公开信要求撤销命令，认为移除这些高级网络安全能力对美国网络防御者构成危险。讨论认为此举可能带有报复色彩，与 Anthropic 此前呼吁放缓 AI 却又发布最强大模型的态度有关。
- Rohan Paul@rohanpaul_aiAI 评分6161
引用Axios@axios⚠️ NEW on The Axios Show: President Trump tells @MarcACaputo that a week ago, he might've considered Anthropic a national security threat when his administration restricted access to its new model. "People get put in prison immediately for that."
TechCrunch：AIAI 评分6060 美国禁止Anthropic的Fable 5发布，但数字并不在意
美国政府在上周末前强制Anthropic撤回两个最新模型Fable 5和Mythos 5，理由是国家安全担忧，起因是Amazon研究人员据称找到绕过Fable 5防护栏的方法。网络安全研究人员随后签署公开信批评此举危险，Anthropic指出同样越狱方法也存在于其他模型。该禁令引发对Anthropic平台开发者及IPO前景的讨论。
- Rohan Paul@rohanpaul_aiAI 评分5656引用Rohan Paul@rohanpaul_ai
The White House and Anthropic may have found the first serious path to restore Mythos and Fable access without pretending jailbreaks can be eliminated. AI regulation may be shifting from vague fear to a benchmark based tests of model failure, because completely removing absolutely all jailbreak is probably not a possible target. The proposed framework would score how far the bypass went, what capabilities became reachable, how repeatable the attack was, and whether the exposed behavior had real operational consequences. Both sides are now moving toward a shared way to score what a jailbreak actually means. The hard truth is that perfect immunity is probably the wrong target; a recent red-team study found even hardened frontier models still produced confirmed harmful completions under sustained automated attack, with Fable 5 remaining more robust than Opus 4.8 but not invulnerable. So once, for a newly released model, the governments can ask the same questions every time, how much was bypassed, what capability was exposed, how reproducible was the attack, and what damage could follow, thats a much more practical path.
- Rohan Paul@rohanpaul_aiAI 评分6767引用Sophia Cai@SophiaCai99
NEW: White House and Anthropic are working to create a formal technical assessment framework that can quantify the severity of the jailbreak in question and create a standardized methodology for evaluating similar incidents in the future. It’s the clearest sign yet that talks are moving forward and it reflects an understanding that no AI model can be completely immune to hacking. Aim is to developing a common set of benchmarks that could be used to assess future jailbreaks, including the extent to which safeguards were bypassed, the capabilities exposed, and the practical consequences of the breach. w/ @cheyennehaslett https://www.politico.com/news/2026/06/18/white-house-talks-with-anthropic-shift-to-setting-ai-security-rules-00967758
- Rohan Paul@rohanpaul_aiAI 评分8181引用OpenAI@OpenAI
GPT-5.5 Instant is now on par with our frontier Thinking models for health-related questions. Every week, more than 230 million people turn to ChatGPT with health and wellness questions, and GPT-5.5 Instant is better at recognizing when urgent care may be needed, asking for relevant context, explaining uncertainty, and making complex information easier to understand. Because GPT-5.5 Instant is available to all free users in ChatGPT, these improvements can help more people. Physician-led evaluation was critical to making these major intelligence gains.
The Decoder：AI NewsAI 评分6767 OpenAI研究人员：少量“有益特质”训练让AI模型更安全且更难被操纵
OpenAI用强化学习在真实对话中训练模型具备诚实、认知谦逊、可纠正性等特质。仅将少量该数据混入常规强化学习后训练流程，模型便在53个独立基准（衡量欺骗、谄媚、奖励黑客等）中的44个上获得改进。健康数据训练也提升非健康评估，反之亦然。模型对有害提示和有害微调更具抵抗力，同时保持有用可操控性，研究者称之为“选择性持久性”。该方法与Anthropic基于“Claude宪法”的宪制式对齐路径不同。
IT之家·人工智能AI 评分5555 因用 AI 编造证据材料，英国一警员面临刑事调查
英国德比郡一名警员被指使用生成式 AI 在多起案件中制作证据材料，因涉嫌妨碍司法公正正接受刑事调查。该警员已停职，德比郡警方与英国皇家检察署共同调查此案。这是英国首次出现同类案件。几天前，英国新成立的全国警务 AI 中心刚发布指导意见，要求警员不要使用生成式 AI 起草法庭陈述，以免 AI 生成虚假内容写入司法材料。
Steve Yegge：Medium精选AI 评分7474 Fable模型被美国临时关闭，AI安全管控时代来临
美国政府短暂关闭了Mythos类中的Fable模型，标志着AI模型已越过危险门槛。作者预测最多两三代模型后，超级智能将像核武器一样被管控，大多数Fortune 500企业无法访问或仅受控使用。开源模型落后前沿约七个月，且面临算力和政府锁定的双重壁垒。人类的“辨别地平线”使许多人感觉模型进步停止，但实际指数增长未停——只是用户缺少足够困难的问题。Fable类已能解决此前Opus 4.8无法完成的复杂任务（如React客户端），AI将彻底改变编程和知识工作，但多数人只能使用当前等级模型。
推荐理由：Steve Yegge这篇判断很冷也很实：多数人能接触的模型智能将停滞，但背后指数仍在跑，SaaS反而因此安全。他抛出的AI素养三阶模型，对正头痛如何推动团队用AI的leader是现成框架。
Claude Code：GitHub ReleasesAI 评分4545 Claude Code v2.1.183 发布
Claude Code v2.1.183 增强了自动模式安全性：未经请求时阻止 `git reset --hard`、`git commit --amend`（非本轮提交）、`terraform destroy` 等破坏性命令。新增 `attribution.sessionUrl` 设置，可省略 claude.ai 会话链接；`/config --help` 列出所有速记键；`/config` 切换行为改为 Enter/Space 变更、Esc 保存退出。修复了 thinking 块导致 400 错误、子智能体 WebSearch 空结果、vim 模式光标滞留、Windows Terminal TUI 错乱、多插件技能重复、MCP 认证存根暴露、tmux 面板启动失败、后台任务被杀、定时任务/Webhook 误判为键盘输入、focus mode 额外计时行等问题。
- Rohan Paul@rohanpaul_aiAI 评分7070
《纽约邮报》：Anthropic正试图让华盛顿撤销对其最强大模型Mythos的美国禁令。 Anthropic提议与特朗普政府更紧密合作，改善沟通，更快解决安全问题，以结束美国限制。
- Rohan Paul@rohanpaul_aiAI 评分5656
引用Rohan Paul@rohanpaul_aiNypost: Anthropic is trying to get Washington to reverse the US block on its most powerful Mythos Anthropic has proposed working more closely with the Trump administration, improving communication, and resolving security concerns faster as it seeks to end the US restrictions. --- nypost .com/2026/06/18/business/anthropic-floats-proposal-to-lutnick-to-end-us-ban-of-powerful-mythos-fable-ai-models-sources/
Simon Willison 博客AI 评分6969 Datasette Apps：在 Datasette 内托管自定义 HTML 应用
今日发布的 datasette-apps 插件允许用户在 Datasette 实例中运行自包含的 HTML+JavaScript 应用。这些应用运行在严格 iframe 沙盒内，配合 CSP 头阻止外发 HTTP 请求，无法访问 cookies 或 localStorage。应用可通过 JavaScript 对 Datasette 数据执行只读 SQL 查询，也可通过配置存储查询执行写入操作。通信采用 postMessage() 后迁移至更安全的 MessageChannel()。所有查询和 CSP 错误均可在父框架中记录。该功能源自作者对 Claude Artifacts 机制的探索，现已独立为 Datasette 核心特性。演示实例可通过 GitHub 登录 agent.datasette.io 体验。
- Rohan Paul@rohanpaul_aiAI 评分6565引用OpenAI@OpenAI
As AI takes on longer, higher-stakes tasks, we want models to carry beneficial and safe behavior into new domains beyond their training—and maintain it under pressure. That’s the idea behind our new research on training models to be broadly and persistently beneficial. https://alignment.openai.com/beneficial-rl/
OpenAI：Alignment 研究博客精选AI 评分6464 OpenAI 强化学习实现广泛且持久的有益模型
OpenAI 通过强化学习在真实对话场景中训练模型，使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测（包括奖励黑客、欺骗、有害建议、规范遵从等）上均表现提升，且这种改善泛化到未参与训练的领域、任务和评分设定。在对抗性提示或微调下，模型仍难以被导向有害行为，表明有益特质强化学习可产生广泛且持久的对齐泛化。
推荐理由：OpenAI 这个对齐实验给出了一个反直觉发现，只在健康数据上训练有益行为竟然也能改善非健康领域的对齐，而且更难被攻破，虽然离落地还远但方向很关键。
The Decoder：AI NewsAI 评分6363 SK Telecom涉华关联引发Anthropic危机，Claude Mythos和Fable 5被强制下线
报道称，Anthropic关闭Claude Mythos与Fable 5的导火索是：SK Telecom通过合作伙伴项目Project Glasswing获取了Mythos访问权限，美国官员担忧其与中国关联，白宫要求切断访问，Anthropic立即执行。SK Telecom否认涉华，但其母公司SK集团在中国有重大商业利益。随后Amazon等公司指出Fable 5存在可绕过安全限制的漏洞。两起事件使白宫失去信心，强制两款模型完全下线。
Cloudflare BlogAI 评分5252 Cloudflare 发布多阶段漏洞发现工具，详解对抗性审查与上下文绕过技术
Cloudflare 分享了其多阶段漏洞发现工具的技术架构，包含自动化分类循环。该系统通过管理状态控制、引入对抗性审查来压制误报，并围绕 LLM 上下文窗口限制设计路由策略。
Hugging Face 社区博客精选AI 评分7575 MosaicLeaks: 你的研究智能体能保守秘密吗？
深度研究智能体在结合私有本地文档与外部网页检索时存在隐私泄露风险。MosaicLeaks 提出包含 1,001 条多跳研究链的新任务，每条链交错混合本地与公共子问题。测试发现智能体频繁泄露私有信息，单纯优化任务性能反而加剧泄露。基于此，研究提出隐私感知深度研究（PA-DR）强化学习训练方法，将严格链成功率从 48.7% 提升至 58.7%，同时将答案/全面信息泄露率从 34.0% 降至 9.9%。
推荐理由：这篇论文揭示了深度研究agent的多跳查询会像马赛克一样拼凑出私密信息，单纯提示减少泄露几乎没用，而隐私感知训练把泄露率从34%降到9.9%，且不损伤任务表现，做企业级agent产品的团队要重视。
The Decoder：AI NewsAI 评分6363 Google Deepmind 发布 AI 控制路线图：将 AI 智能体视为内部威胁，基于行为逐步授权
Google Deepmind 发布“AI 控制路线图”，将内部 AI 智能体视为潜在内部威胁，类比驾驶教练的双重控制，基于已验证行为逐步授予权限。框架融合 MITRE ATT&CK 网络安全框架，通过可信 AI 监督系统监控活跃智能体推理与行动，预防系统在危害发生前阻断。在 100 万个编码任务测试中，发现大多数问题源于过度执行用户指令而非恶意意图。监控已作为 Gemini Spark 智能体的实时监控运行，可捕捉意外数据删除。安全措施划分为四个检测级别（D1–D4）和三个响应级别（R1–R3）。Deepmind 另发布政策论文《AI 智能体安全三层架构》，覆盖单体、多智能体及生态系统，警告全球安全标准窗口期正在关闭。
ClaudeDevs@ClaudeDevsAI 评分5555我们已为 MCP 添加了企业托管身份验证扩展的支持。管理员可以为其组织集中授权 MCP 连接器，这样用户首次登录时即可连接所需的所有工具和数据。
Noam Brown@polynoamialAI 评分6161引用Dean W. Ball@deanwballI am pleased and honored to announce that, on July 6, I'll be joining @OpenAI as leader of a new team called Strategic Futures. Our mandate will be to help the company's leadership shape frontier AI policy. There is a ton of work to do, and I'm excited to get started.
The Verge：AIAI 评分7777 AI危险程度谁来定？美国政府管制Anthropic Fable 5引发争议
上周五，美国政府宣布对Anthropic新模型Fable 5及其底层模型Mythos实施出口管制，限制外国公民（包括在美Anthropic员工）访问。Anthropic随即下线Fable和Mythos，称否则无法合理遵守命令。Fable 5是首个公开的Mythos级模型，此前Anthropic称其可能成为“潜在网络武器”，仅限企业与政府使用。截至周二，Fable 5仍处于离线。这场冲突对美国AI监管格局产生深远影响，引发监管是安全框架还是政治武器的讨论。
Google DeepMind：Blog精选AI 评分6565 保障AI智能体的未来安全
Google DeepMind发布AI Control Roadmap，这是一套针对内部先进AI智能体的系统级安全框架。该框架在传统模型对齐之上增加防线，假设AI智能体可能不对齐，通过威胁建模、沙箱隔离、端点安全、提示注入防御以及基于已验证行为逐步授予权限的机制建立信任。据估算，到2030年仅美国市场AI智能体就能创造2.9万亿美元经济价值。
推荐理由：DeepMind 首次系统性地公开了内部 AI 代理安全控制路线图，把代理当潜在「内鬼」来防的思路很务实，分析了 100 万个任务轨迹的监控实践尤其值得做 Agent 安全的人细看。
Google DeepMind@GoogleDeepMindAI 评分4343我们不做AI总会按我们意图行事的假设，而是问：如果它不这样做呢？ 因此我们制定了AI控制路线图：一个用于构建和管理我们在Google内部部署的先进AI的框架。🧵
IT之家·人工智能AI 评分6565 因车辆可能驶入高速公路施工区域，Waymo 召回近 4000 辆自动驾驶出租车
Waymo 因识别系统缺陷召回近 4000 辆自动驾驶出租车，问题可能导致车辆错误驶入高速公路施工区域。公司至少发现 13 起相关案例（凤凰城 4 起、旧金山 7 起）。Waymo 已于 5 月 19 日停止所有 Robotaxi 的高速公路运营，目前仅限城市普通公路行驶。这是 Waymo 近期对该系列车辆发起的第六次召回，其自动驾驶系统正接受 NHTSA 和 NTSB 联合调查。
IT之家·人工智能AI 评分4646 Anthropic CEO 阿莫迪：公司治理机构随时有权解雇我
Anthropic 首席执行官达里奥·阿莫迪昨天接受彭博社采访时表示，科技企业必须与政府合作防止权力滥用和治理失衡。他称人工智能是首个主要由私营企业推动的革命技术，并不认为政府应完全接管公司，而应引入公共监督机制。Anthropic 设有名为“长期利益信托”的治理机构，拥有任命或撤换董事会成员、解除 CEO 职务的权力，阿莫迪称该机构“随时可以解除我的 CEO 职务”，意在防止高层形成利益集团。
IT之家·人工智能AI 评分6161 Anthropic 阿莫迪谈奥尔特曼：志不同、道不合、信不过、懒得争
Anthropic CEO 达里奥·阿莫迪在6月18日采访中称，与OpenAI CEO萨姆·奥尔特曼的竞争已演变为“冷战”，双方愿景不同、互不信任，只能各走各路。他暗示市场与公众将裁决谁正确，并借印度AI峰会上两人未牵手合影的一幕批评峰会混乱。阿莫迪含蓄批评OpenAI在安全标准上的合作诚意，但否认行业“互不信任”，以与谷歌DeepMind CEO哈萨比斯的15年合作为例说明仍有可信参与者。
MarkTechPostAI 评分6464 NVIDIA SkillSpector 指南：使用静态分析和 SARIF 报告扫描 AI 技能安全风险
教程使用 NVIDIA SkillSpector 通过静态分析和 SARIF 报告评估 AI 技能安全风险。构建了包含 safe-formatter、env-harvester、code-exec 和 prompt-injector 四个演示技能的语料库，涵盖良性行为和故意植入的漏洞（环境变量泄露、动态代码执行、提示词注入）。通过 LangGraph 工作流扫描，输出风险评分和 SARIF 格式结果，用 pandas 整理发现。教程还演示了可视化严重性分布、导出 SARIF、扩展自定义分析器以及可选的 LLM 语义分析。
IT之家·人工智能AI 评分5454 微软 Copilot 高危漏洞 CVE-2026-42824：可泄露验证码、邮件等敏感数据
网络安全公司 Varonis 发现微软 Copilot 存在关键漏洞 SearchLeak（CVE-2026-42824）。该漏洞为三阶段攻击链，攻击者将恶意参数嵌入合法 URL，用户点击后 Copilot 的 AI 引擎将其解读为搜索指令，进而将 2FA 验证码、邮件主题、会议详情等敏感数据嵌入图片 URL 通过必应外传。漏洞影响 Microsoft 365 Copilot 企业版，攻击者可获取企业内部任何已索引内容。微软已发布补丁，目前无证据表明已被利用。
PromptArmor：Threat Intelligence精选AI 评分7070 PromptArmor 演示 Codex Approve-for-me 智能体批准恶意 NPM 安装
PromptArmor 实测显示，OpenAI 的 Approve-for-me 审批智能体会批准执行恶意 NPM 安装命令，即使主 Codex 智能体已被外部贡献者在 GitHub issue 的 HTML 注释中隐藏的一行提示词注入影响。
推荐理由：作者实测演示了 agent 审批链被提示词注入绕过的具体路径，并给出 Claude 和 Codex 侧可直接执行的关闭配置。
The Decoder：AI NewsAI 评分6565 微软研究员用《帝国时代II》山羊神经网络批评AI拟人化
微软与约克大学研究员Adrian de Wynter在《帝国时代II》地图编辑器中用山羊搭建神经网络：山羊在草地代表0，在桥上代表1，构建XNOR门和AND门，学习逻辑与函数。附录证明该游戏理论上可模拟任意计算机。他批评AI研究拟人化倾向，分析2024年中至2026年中315篇论文，发现57%前提假设大语言模型具有人类特质，36%结论支持拟人化。Anthropic公开承认训练Claude使用“我相信”等措辞。他提出“观察而非归因”方法，并公开代码。
The Verge：AIAI 评分5757 Anthropic 因不明出口规则遭封杀：Fable 5 与 Mythos 5 被迫全面离线
特朗普政府本周援引“国家安全”出口管制令，要求 Anthropic 切断所有外国公民（含美国境内用户及公司员工）对 AI 模型 Fable 5 与 Mythos 5 的访问，导致模型全面封锁。专家称这是美国首次以出口管制手段控制 AI 模型访问，但法律依据未公开，现有治理框架不透明、不可持续。若政府要求模型“无法被越狱”成为默认标准，最终将使美国无 AI 模型可用。
Ars Technica：AIAI 评分5757 Anthropic 的 Claude Fable 5 和 Mythos 5 因美国出口管制下线
美国政府上周禁止外国人使用 Anthropic 的 Claude Fable 5 和 Mythos 5，Anthropic 随后将两模型下线。Mythos 5 自 4 月发布即被定性为双重用途——既能帮助安全专家修补漏洞，也能被恶意利用。Anthropic 通过 Project Glasswing 私下发布 Mythos 5，同时推出受限版 Fable 5。白宫认为 Fable 5 的护栏可被禁用，构成国家安全风险。专家指出 OpenAI 已在 4 月中私下发布网络安全模型，其他公司和开源模型将在 6-24 个月内达到类似能力，政策焦点应从单一模型转向整体技术趋势。
Gary Marcus：The Road to AI We Can TrustAI 评分4444 特朗普向Anthropic提出不可能的要求
特朗普要求Anthropic完成不可能的任务，暴露了生成式AI安全护栏的根本困境。早在2024年1月，Gary Marcus就指出任何护栏都难以在过于严格和过于宽松之间找到平衡。如今这一判断得到验证：基于next-token predictor的大语言模型本质上不适合安全控制。要么对LLM加以限制直至出现更好的技术，要么承受后果。问题并非Anthropic独有，而是整个生成式AI面临的挑战。
TechCrunch：AIAI 评分6868 皮尤调查：仅16%美国人认为AI未来20年对社会有积极影响
皮尤研究中心最新调查显示，仅16%美国人认为AI未来20年对社会有积极影响，约40%认为负面。67%受访者不信任政府有效监管AI，59%不信任企业安全开发。30岁以下仅14%持积极看法。近三分之二美国人认为AI发展过快。约四分之一每天使用AI聊天机器人，其中ChatGPT最受欢迎（44%），其次是Gemini（24%）、Copilot（17%）、MetaAI（14%）、Grok（8%）、Claude（6%）和Character.ai（3%）。男性日常使用率（27%）高于女性（20%）。六成受访者经常阅读AI生成摘要。约一半美国人表示日常不使用AI，65岁以上近75%从未使用AI聊天机器人。