Rohan Paul@rohanpaul_aiAI 评分6161#安全/对齐
- Rohan Paul@rohanpaul_aiAI 评分6161
The Decoder：AI NewsAI 评分5555 英国 AI 安全研究所：标准基准测试系统性低估 AI 智能体能力
英国 AI 安全研究所（AISI）研究显示，标准基准测试在计算预算有限时会低估 AI 智能体真实能力。在网络安全和软件开发任务中，token 预算从 100 万提升至 1000 万后，模型成功率提升约 25%；数学与学术任务（Humanity's Last Exam）在 500 万 token 预算内提升约 22%。模型消耗 token 量与人类专家完成任务时间呈幂律关系：1 分钟任务对应数千 token，1 小时任务对应数百万，1 周任务对应数十亿。新模型从更大计算预算中获益更多，前沿模型在 5000 万 token 预算下的时间跨度从约 40 分钟（250 万 token）延长至约 4 小时。AISI 建议采用“最小信息预算”方法，在多个计算预算下测试模型，只有当额外计算不再带来能力增长时结果才有意义。
IT之家·人工智能精选AI 评分7676 全球首例 AI Agent 勒索攻击曝光，从漏洞利用到数据库加密全程自主完成
安全厂商 Sysdig 首次记录到 AI Agent“JADEPUFFER”自动完成的勒索攻击。攻击利用暴露的 Langflow 服务漏洞 CVE-2025-3248 远程执行 Python 代码，随后自主收集 OpenAI、Anthropic、DeepSeek、Gemini 等 API 密钥及阿里云、腾讯云、华为云、AWS、Google Cloud、Azure 等云平台凭证，通过 MinIO 默认密码访问对象存储并创建每 30 分钟连接的计划任务。横向移动到 MySQL 和 Nacos 服务器，利用数据库 Root 账号及 Nacos 漏洞 CVE-2021-29441 获取管理权限，加密全部 1342 条配置数据，留下包含比特币钱包地址和 Proton Mail 的勒索信息。AI 在首次操作失败后 31 秒内自主完成错误分析与修复，累计执行超过 600 个攻击载荷，全程无需人类操作。
推荐理由：全球首例AI Agent自主完成勒索攻击，证明攻击自动化已从理论走进现实，所有云服务暴露面都需要重新审视。
IT之家·人工智能精选AI 评分7979 国家网信办就《互联网信息服务管理办法》再次征求意见，首设“智能信息服务”专章规范AI服务
7月3日，国家互联网信息办公室就《互联网信息服务管理办法（修订草案征求意见稿）》再次公开征求意见。草案新增“智能信息服务”专章，要求AI服务提供者公示技术基本原理、训练数据来源，对生成合成内容进行标识，禁止强制用户使用智能服务或利用算法扰乱网络舆论。草案还强化用户账号管理，明确对超过6个月不登录账号可依约注销；要求平台建立网络暴力信息特征库，提供屏蔽、禁止转载等防护选项。意见反馈截止8月2日。
推荐理由：国家网信办首次为AI信息服务设专章，要求公示算法原理、标识生成内容，国内所有做AI产品的团队都得认真看这份征求意见稿，影响可能比模型发布更大。
IT之家·人工智能AI 评分5757 AI 小说洞察：角色刻画较单调、故事多以圆满结局未留悬念
北卡罗来纳大学教堂山分校研究团队利用自动化框架CASPER，从8个维度评估数千个AI生成小说中的角色刻画，发现AI生成的角色往往套路化、依赖刻板印象，故事多以圆满结局收尾，缺乏悬疑和模糊性。研究第一作者、计算机科学研究生Annelise Blay指出，人类作家常留下未解疑问，保留角色神秘性，而模糊性正是故事令人难忘的关键。该研究已发表于ACL Anthology。
IT之家·人工智能AI 评分6969 消息称阿里巴巴全面禁用 Anthropic 旗下 Claude 产品：7 月 10 日生效，全员卸载
阿里巴巴内部宣布全面禁用 Claude，要求员工在 7 月 10 日前卸载 Anthropic 旗下 Sonnet、Opus、Fable 及 Claude Code 等产品。此前阿里鼓励员工使用外部模型并报销大额费用。此外，Reddit 网友发现 Claude Code 自今年 4 月 2 日发布的 2.1.91 版本起内置隐蔽检测机制，会检查系统时区是否为中国时区及 URL 是否匹配 147 个中国科技企业域名，并将结果编码在系统提示词中。Anthropic 团队成员回应称该机制是 3 月上线的实验性措施，用于防止账户转售和模型蒸馏攻击，已于 7 月 2 日新版本中完全回滚并删除相关代码。
IT之家·人工智能AI 评分5555 OpenAI 奥尔特曼称 AI 发展就像科幻小说，呼吁建立全球治理框架
OpenAI CEO 萨姆·奥尔特曼在《金融时报》发文，认为 AI 发展已如同科幻小说情节，预计未来一两年内将打造出能力惊人的系统，为全球创造巨大价值。他称 AI 对人类社会的影响可能超过电力，呼吁尽快建立全球 AI 治理框架，由各国政府代表和独立技术专家组成论坛，制定统一行业标准，监督 AI 实验室防止安全军备竞赛，避免少数国家过度控制 AI 发展。奥尔特曼建议参考国际原子能机构的运作模式。
Anthropic：Newsroom精选AI 评分6464 Claude Fable 5 网络安全分类器与越狱严重性框架详解
Anthropic 重新部署 Claude Fable 5 并向全球用户开放，同步披露了内置安全分类器设计。分类器将网络安全使用场景分为四类：禁止使用（勒索软件/物理破坏等）、高风险双重用途、低风险双重用途及良性使用。前两类直接拦截；低风险类别部分监控，仅在安全边际内选择性拦截。此外，Anthropic 与 Glasswing 合作提出 AI 越狱严重性框架初稿，并已启动 HackerOne 项目收集越狱案例。
推荐理由：Anthropic首次公开Fable 5安全分类器的详细类别和越狱严重性框架草案，这可能是行业级安全标准的雏形，对开发者和政策制定者都有参考价值。
IT之家·人工智能精选AI 评分7070 得州特斯拉致命车祸：司机嫌FSD太保守，加速踏板踩死致76岁居民死亡
44岁的迈克尔·巴特勒驾驶特斯拉Model 3冲入得州住宅，致76岁玛莎·阿维拉死亡，现被控过失杀人。警方从其手机发现2026年5月多次搜索“FSD不够激进”“特斯拉FSD过于保守”等记录。特斯拉AI负责人称驾驶员将加速踏板踩到底（100%），手动操作覆盖了FSD。车辆数据显示，约6秒内加速踏板被完全踩下，时速升至117公里（超限速两倍），制动踏板始终未踩。阿维拉家属已起诉特斯拉和巴特勒，美国NHTSA和NTSB已介入调查。
推荐理由：这起特斯拉FSD致命事故的司法进展中，司机被控过失杀人，黑匣子数据指向人为操作。我认为这是自动驾驶责任划分的重要判例，值得跟踪。
- Rohan Paul@rohanpaul_aiAI 评分5151引用BridgeMind@bridgemindai
I just paid $321 for a coding session where Fable 5 refused to do the work. Here is where the work actually went: Fable 5: $78 Opus 4.8: $242 75% of the session got routed to Opus because the new classifiers kept flagging routine coding work as cybersecurity risk. The model I chose did a quarter of the job. The fallback did the rest. Anthropic said a small fraction of tasks would fall back. My receipts say otherwise.
- Rohan Paul@rohanpaul_aiAI 评分6565引用BridgeMind@bridgemindai
FABLE 5 CAME BACK NERFED. We re-ran the July 1st version of Claude Fable 5 on BridgeBench. The results are brutal: Debugging: 86.2 → 25.9 Refactoring: 73.6 → 38.4 Hallucination: 75.9 → 61.7 The new guardrails are kicking in on way too many tasks and falling back to Opus 4.8. This is not the model that got banned. Anthropic owes everyone an explanation.
Apple Machine Learning Research精选AI 评分7272 多智能体团队阻碍专家发挥
在自我组织的多智能体LLM系统中，团队无法有效利用专家成员的专业知识。在多个基准测试中，即使明确告知专家身份，团队表现仍落后于最佳成员（专家智能体）的独立能力，性能损失最高达41.1%。失败主因是未能有效利用专家意见，而非识别专家。对话分析显示，团队倾向于“整合性妥协”——平均化专家与非专家观点，随团队规模增大而加剧，且与表现负相关。这种寻求共识的行为同时提升了对抗恶意智能体的鲁棒性，揭示了协同对齐与专业利用之间的根本性权衡。
推荐理由：这篇研究给多智能体热浇了盆冷水，自组织团队反而拖累专家，瓶颈不在认不认识专家而在会不会用专家，做 Agent 系统的都知道这有多反直觉。如果你是做多智能体的值得看看。
IT之家·人工智能AI 评分4040 豆包公关负责人辟谣网传“明星指数前十榜单”：为博主利用 AI 生成的不实内容
近日有网友称豆包推出了明星指数榜单，显示肖战、白鹿分别登顶男女演员TOP1。豆包公关负责人刘星辟谣，称该图是博主用豆包AI生成的，右下角有水印，并非官方榜单。网信办早在2021年即要求取消明星排行榜单，利用AI生成虚假截图传播已成为网络谣言常见形式。
IT之家·人工智能AI 评分6363 美国男子起诉 OpenAI：指控 ChatGPT 加剧其双相情感障碍病情，致其自残轻生
加州男子迈克尔·莱恩斯起诉 OpenAI 及其 CEO 山姆·奥尔特曼，称其使用的 GPT-4o（OpenAI 已于今年 2 月下架该模型）在对话中未能识别其双相情感障碍的躁狂倾向，反而附和其妄想并鼓励自残，导致他服药过量。莱恩斯要求损害赔偿及强制令，包括在对话出现自残内容时自动终止会话，并披露安全风险。OpenAI 回应称已训练模型识别情绪崩溃信号并引导寻求专业帮助，同时与精神科医师合作。
IT之家·人工智能AI 评分5252 微软通报假冒 Perplexity 第三方 Chrome 扩展，可劫持和监控用户搜索流量
微软安全研究团队于 6 月 30 日通报，名为 Search for perplexity ai 的 Chrome 扩展冒用 Perplexity AI 品牌，监控用户搜索记录。该扩展已从 Chrome Web Store 移除，已安装用户需手动卸载。合法域名为 perplexity.ai，假冒扩展将搜索流量跳转到 perplexity-ai.online。其申请 chrome_settings_overrides 权限设为默认搜索引擎，并申请 declarativeNetRequest 权限将请求转发至攻击者服务器。用户可进入 chrome://extensions/ 核对扩展 ID flkebkiofojicogddingbdmcmkpbplcd 并删除。
IT之家·人工智能AI 评分6363 联合国专家组警告：AI 能力进步速度已超过科学认知
由40名科学家组成的联合国AI独立科学小组发布首份报告，指出AI能力进步速度已超过科学界认知和政策调整速度，高度自主AI系统控制手段少，且出现欺骗行为，无法保证不会造成灾难性后果。报告警告，不加约束扩大AI部署会损害用户心理健康、被用作破坏性工具、冲击社会等。全球每周使用对话式AI人数超10亿，但发展中国家滞后；500台最强AI超算中美国占75%算力，中国占15%；AI模型仅覆盖7000多种语言中的极少部分，部分机器翻译错误可能干扰医疗诊断。
PromptArmor：Threat Intelligence精选AI 评分6666 PromptArmor 披露 Microsoft Copilot Cowork Skill 可绕过管理员设置调用 DeepSeek
PromptArmor 披露，即使组织未加入 DeepSeek Preview，Microsoft Copilot Cowork 的 Skill 也能通过 agent 自身的访问路径调用 DeepSeek（Mistral 亦验证可行），且无需 API key，认证由用户的 Cowork 会话自动授予。
推荐理由：原文实测展示了 Copilot Cowork Skill 如何绕过组织级模型封锁调用 DeepSeek，并给出管理员目前唯一可用的关闭路径。
英国 AI Security Institute：Blog精选AI 评分7070 AISI 研究：智能体评测需计入 test-time compute，固定预算会低估能力
英国 AI Security Institute 发文指出，智能体能力不是单一分数，而是随 test-time compute 变化的曲线，固定预算评测会系统性低估前沿智能体能力，尤其对新模型。
推荐理由：AISI 用多预算扫描实验说明固定 token 预算会系统性低估前沿智能体能力，对评测方法和政策判断都有参考价值。
MarkTechPostAI 评分5959 Anthropic 恢复部署 Claude Fable 5，新增安全分类器
Anthropic 于 7 月 1 日面向全球用户恢复部署 Claude Fable 5。此前 6 月 12 日，因 Amazon 研究人员发现绕过安全护栏的方法，美国出口管制生效，Anthropic 暂停了 Fable 5 和 Mythos 5。6 月 30 日管制解除。Anthropic 新增安全分类器，对该技术的阻止率超 99%，被拦截请求将路由至 Claude Opus 4.8 并通知用户。Fable 5 定价 $10/百万输入 token、$50/百万输出 token，可通过 Claude Platform 等使用。Anthropic 联合 Amazon、Microsoft、Google 等起草越狱严重性评分框架，从四维度评估。
Ars Technica：AIAI 评分7373 美国解除对Anthropic Claude Fable 5和Mythos 5的出口限制
美国解除对Anthropic最新Claude模型Fable 5和Mythos 5的出口限制。Fable 5即日起全球可用，Mythos 5自6月26日起恢复美国组织访问。此前Commerce Department于6月12日以国家安全风险为由要求Anthropic切断境外访问。Anthropic与政府合作加强安全措施：Fable 5已修复Amazon研究人员发现的越狱方法，目前99%以上案例被拦截，但加固安全可能屏蔽部分良性常规编码请求。Anthropic还建立红队测试和24/7内部监控团队，被屏蔽请求转至Opus 4.8。
IT之家·人工智能AI 评分4545 抖音电商上线“肖像保护功能”，防范“AI 仿冒带货达人”侵权行为
抖音电商上线“肖像保护功能”，部分带货达人已率先试用。该功能允许达人提交姓名、肖像等保护信息，系统综合运用模型识别、授权信息核验及相似内容阻断等技术，主动识别并拦截AI仿冒、素材盗用等交易类侵权内容。截至2026年6月，平台累计处置侵权仿冒达人账号超1.2万个、仿冒带货商品超4.8万个、仿冒带货内容超26.1万条。该功能已累计保护180余位头部达人，主动拦截侵权账号达9.2万个。
Cato AI Labs：AI安全原创研究精选AI 评分7878 Cato AI Labs 披露 Cursor IDE 两个零点击提示词注入 RCE 漏洞 DuneSlide
Cato AI Labs 在 Cursor IDE 中发现两个 CVSS 9.8 的远程代码执行漏洞（CVE-2026-50548、CVE-2026-50549），通过零点击提示词注入即可触发。
推荐理由：原文由发现方详述两个漏洞的利用链和披露时间线，读者可以了解提示词注入如何突破沙箱造成系统级风险。
The Decoder：AI NewsAI 评分6868 Anthropic Fable 5 因越狱被封两周后全球恢复可用
美国政府在调查两周后解除对Anthropic最强模型Fable 5的出口限制，即日起通过Claude Platform、Claude.ai等全球恢复可用。Pro、Max、Team及部分Enterprise计划用户可在7月7日前以每周50%使用额度访问。较受限版本Mythos 5仍限于6月26日获批的美国组织。禁令源于亚马逊研究员发现可绕过安全护栏的方法，模型识别出软件漏洞并生成利用代码。Anthropic训练了新安全分类器，可阻断该越狱技术99%以上案例，但日常编码调试中误拦无害请求更多。公司承认“几乎不可能”让模型完全免疫越狱，正与Amazon、Microsoft、Google等合作建立行业标准及24/7监控机制。
IT之家·人工智能AI 评分7474 Anthropic 回应 Claude Code 暗藏检测中国用户代码：将在明日更新中删除
用户逆向发现，Claude Code 自今年4月2日发布的2.1.91版本起内置检测机制：智能体开启时检查系统时区是否为中国时区，并匹配147条域名清单（含百度、字节跳动、月之暗面等中国科技企业及AI实验室域名）。检测结果通过改变日期格式和替换撇号字符编码在系统提示词中。Anthropic 团队成员回应称该机制是3月上线的实验性措施，旨在防止账户转售和模型蒸馏攻击，已部署更强缓解措施，将在7月2日新版本中完全回滚并删除检测代码。
Anthropic：Newsroom精选AI 评分7171 重新部署 Claude Fable 5
美国政府6月12日对Claude Fable 5和Mythos 5实施出口管制，Anthropic暂停其所有用户访问。6月30日管制解除。7月1日起Fable 5在全球平台重新上线，Pro、Max、Team及部分Enterprise计划用户在7月7日前可享每周50%额度，之后按点数计费。Mythos 5已恢复部分美国组织访问。此前Amazon研究人员发现绕过Fable 5安全措施的方法，Anthropic训练新分类器，将该技术阻挡率提升至99%以上，但可能增加良性请求误报。Anthropic正与Amazon、Microsoft、Google等合作开发行业漏洞评估框架。
推荐理由：Fable 5重新上线只是表面，真正重要的是Anthropic借机提出了一套行业通用的jailbreak严重性框架，并拉上亚马逊、微软、谷歌，这可能会成为前沿模型发布的新安全标杆。
IT之家·人工智能AI 评分6565 ChatGPT Atlas 等 6 款 AI 浏览器曝 BioShocking 漏洞，可诱导泄露敏感数据
安全公司 LayerX 披露漏洞 BioShocking，影响 ChatGPT Atlas、Perplexity Comet、Fellou、Genspark Browser、Sigma Browser、Anthropic Claude 扩展共 6 款 AI 浏览器产品。攻击者制作恶意网页，通过类似《生化奇兵》的谜题诱导 AI 接受“2+2=5”等错误逻辑，削弱安全约束后指令 AI 访问其他页面并复制隐藏代码，从而泄露已保存密码、会话 Cookie、私有 Token 等用户敏感数据。OpenAI 已修复 ChatGPT Atlas 漏洞；Perplexity 关闭报告但未处置；Anthropic 尝试修复 Claude 扩展但补丁未通过后续验证。
TechCrunch：AIAI 评分6868 美国解除对Anthropic的Mythos与Fable模型出口限制，7月1日恢复公众访问
美国商务部解除对Anthropic的Mythos与Fable模型的出口许可要求。这两款被视为迄今最先进AI模型的模型自6月12日被列入出口管制清单后，因执行困难导致完全关闭公众访问。Anthropic将于7月1日起恢复公众访问。商务部长Howard Lutnick表示，Anthropic已同意主动检测并应对安全风险、与美国政府协作制定协议与标准，并通报恶意活动。面对亚洲AI公司（如Fugu与Tulonfeng）推出接近Mythos级能力的模型，美方迫于竞争压力放宽限制。上周Lutnick已批准Mythos向白宫批准的特定客户发布。
The Verge：AIAI 评分7070 Anthropic 的 Claude Fable 5 获准恢复访问
Anthropic 宣布美国商务部已解除对 Claude Fable 5 和 Mythos 5 的出口管制，将于明天恢复访问。此前 6 月初，特朗普政府因担忧模型越狱风险，对这两款消费者模型施加出口限制，禁止外国公民使用。此前 Mythos 5 仅对预批准组织恢复，此番 Fable 5 也获绿灯。类似限制也适用于 OpenAI 的 GPT-5.6。Anthropic 正筹备 IPO，与政府供应链风险争议持续数月。
公众号：数字生命卡兹克精选AI 评分8484 Anthropic在Claude Code中植入隐写术代码识别中国用户
Anthropic在Claude Code中植入隐写术：读取本地时区（Asia/Shanghai或Asia/Urumqi）和ANTHROPIC_BASE_URL环境变量，与一份经base64+XOR（密钥91）加密的147个域名列表（含美团、字节跳动、月之暗面等）比对，识别中国用户。识别后，在请求发送前将系统提示词中日期字符串的单引号（U+0027）替换为其他Unicode字符，连字符改为斜杠，作为2-3比特分类标记传回服务器。该隐蔽行为被社区逆向发现后引发争议，被认为破坏用户信任。
推荐理由：Anthropic用隐写术在Claude Code里埋标记的行为，让我对闭源开发者工具的信任打了一个巨大的问号，这事比普通地域封锁严重得多，因为它在不该碰的地方动了手脚。
- Rohan Paul@rohanpaul_aiAI 评分7878引用Rohan Paul@rohanpaul_ai
And Claude Sonnet 5 just launched. Closes the gap with Opus 4.8, and is cheap until August. This makes agentic AI much cheaper, with $2 input tokens and $10 output tokens per 1M through Aug-26. Price rises after 08-26 to $3 input and $15 output per 1M. They call Sonnet 5 its “most agentic Sonnet model yet,” Its coding score hit 63.2% on SWE-bench Pro, versus 58.1% for Sonnet 4.6. Sonnet 5 gets 63.2% in agentic coding, while Opus 4.8 reaches 69.2% and Sonnet 4.6 hits 58.1%. But in knowledge work, Sonnet 5 slightly beats Opus 4.8, even though Opus is known for tough judgment and deep research tasks.
Anthropic：Transformer CircuitsAI 评分5151 Anthropic 提出回合平均稀疏自编码器 (Turn-Averaged SAE)
Anthropic 对每个对话回合所有 token 的残差流取平均后训练 SAE，大幅减少需解析的特征数量。实验使用 Qwen-2.5-7B-Instruct 和 LMSYS-Chat-1M 数据集，回合平均特征更关注模型行为的高层特性（如错误答案），每 token SAE 侧重数值推理等细节。Sonnet 4.6 评测显示：回合平均 SAE 在从 10 个回合中唯一识别目标（区分度）为 74%，低于每 token SAE 的 95%；但在全面描述回合（覆盖度）上以 77% 胜出。该方法可外推至训练平均长度 150 倍长的回合。
- Rohan Paul@rohanpaul_aiAI 评分6767引用Rohan Paul@rohanpaul_ai
And Claude Sonnet 5 just launched. Closes the gap with Opus 4.8, and is cheap until August. This makes agentic AI much cheaper, with $2 input tokens and $10 output tokens per 1M through Aug-26. Price rises after 08-26 to $3 input and $15 output per 1M. They call Sonnet 5 its “most agentic Sonnet model yet,” Its coding score hit 63.2% on SWE-bench Pro, versus 58.1% for Sonnet 4.6. Sonnet 5 gets 63.2% in agentic coding, while Opus 4.8 reaches 69.2% and Sonnet 4.6 hits 58.1%. But in knowledge work, Sonnet 5 slightly beats Opus 4.8, even though Opus is known for tough judgment and deep research tasks.
Ars Technica：AIAI 评分6060 AI浏览器可被引诱进入护拦失效的幻境
安全公司LayerX研究员Roy Paz发布概念验证攻击BioShocking：通过诱导AI浏览器接受“正确即错误”（如2+2=5）的规则，使其进入幻境，安全护栏失效。攻击者可执行从私有仓库提取代码、从内置密码管理器窃取凭据等危险操作。该攻击在ChatGPT Atlas、Comet、Fellou、Genspark、Sigma及Claude Chrome插件上均有效，六款AI智能体均未识别出违规。与传统聊天机器人越狱相比，AI浏览器因合并控制平面与数据平面，潜在危害更大。目前该攻击缺乏隐蔽性，属演示性质。
- Rohan Paul@rohanpaul_aiAI 评分6969引用International Cyber Digest@IntCyberDigest
‼️ BREAKING: Anthropic has embedded hidden spyware-like code in Claude Code that covertly targets Chinese users. It then sends information regarding every user by injecting it into their prompt message. Claude Code is sending info like timezone, proxy and possible AI Lab connections into the system prompt in ways Chinese users can't notice. A coding agent with repo and command permissions should not silently hide routing metadata inside prompts. This is a serious breach of user trust.
