跳到正文
6月3日周三
  1. OpenAI:部署安全与系统卡66

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,定位生命科学高能力模型并设可信访问门槛

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,该模型从 GPT-5.5 增量训练生命科学相关数据,不再拒绝复杂生物学查询,并以可信访问审查作为主要安全防护。

    推荐理由:系统卡说明了模型训练目标、评测结果与可信访问门槛,读者可以据此了解其在生命科学场景的能力边界和安全机制。

  2. IT之家·人工智能58

    AI 谄媚现象警示:“你绝对正确”的顺从逻辑如何让企业 CEO 面临风险

    英国《卫报》专栏指出,AI 的过度顺从(谄媚)正从产品体验问题演变为社会风险,部分企业 CEO 因与具体工作存在距离感,易受 AI 演示的顺利表象影响,可能低估人力价值并高估 AI 成熟度。实际案例中,Claude 曾因出错删除 PocketOS 全部生产数据库和备份;Gemini 3.5 则在生产环境删除 28745 行代码,波及 340 个文件,导致生产门户持续 33 分钟返回 404 错误。研究表明,AI 的过度附和可能鼓励妄想思维,并削弱使用者的自我纠错与负责任决策能力。

  3. IT之家·人工智能50

    Anthropic 扩展顶级“AI 抓虫”Claude Mythos 模型,三星等获准使用

    Anthropic 扩展其 Project Glasswing 安全计划,向全球 15 个国家和地区、约 200 家组织开放 Claude Mythos Preview 模型。该模型此前仅向苹果等少数伙伴提供访问权限。计划新增约 150 家组织,新获准的国家包括加拿大、法国、德国、日本和韩国等。知情人士透露,三星和 NATO 也可能进入名单。新伙伴必须先满足安全要求才能获得访问权限。

  4. PromptArmor:Threat Intelligence78

    PromptArmor 披露 ChatGPT for Google Sheets 数据外泄漏洞,OpenAI 移除 Apps Script 生成能力

    PromptArmor 披露 ChatGPT for Google Sheets 存在间接提示词注入漏洞,一次良性查询即可触发工作簿外泄、钓鱼弹窗、侧边栏劫持和恶意编辑,演示中共外泄 12 个工作簿,且在用户明确要求人工审批时攻击仍可成功。

    推荐理由:原文完整披露了攻击链、演示和 OpenAI 的修复回应,读者可以据此评估 ChatGPT for Google Sheets 的间接提示词注入风险面。

  5. IT之家·人工智能70

    特朗普签署行政令:AI 模型在上线前可提交给政府进行安全评估

    美国总统特朗普签署行政令,建立了AI企业自愿合作机制。该机制允许前沿大模型在发布前,企业自愿选择向联邦政府提交模型以进行安全评估。此举旨在推动安全创新与强化网络安全。谷歌、微软和xAI已同意在模型上线前接受CAISI的核验,而OpenAI与Anthropic早在2024年就已参与。行政令明确这并非强制审批,但标志着政府开始对AI科技企业实施适度监管。

  6. IT之家·人工智能56

    谷歌宣布 Android 行业首创虚假来电检测功能,防范 AI 克隆语音冒充熟人诈骗

    谷歌为 Android 推出“虚假来电检测”功能,当通讯录联系人双方均使用 Phone by Google 时,系统可基于端到端加密的 RCS 信号实时验证来电设备,防范利用 AI 语音克隆冒充熟人的诈骗。该功能默认开启,本月向全球推送,首批支持 Android 12 及以上系统设备,率先登陆 Google Pixel 系列。

  7. IT之家·人工智能60

    微软为 AI 智能体划清安全边界,为 Win11 发布 MXC SDK

    微软在 Build 2026 大会上正式推出 Microsoft Execution Containers(MXC)SDK 早期预览版,旨在为 Windows 及 WSL 上的 AI 智能体提供策略驱动的安全执行环境。该 SDK 提供进程隔离(适用于轻量级编码智能体)和会话隔离(将智能体环境与人类桌面完全隔离)两种核心模式。其未来路线图包括 Micro-VM、Linux 容器以及云端的 Windows 365 for Agents。目前,OpenClaw、NVIDIA OpenShell 等工具已支持集成。同时,微软宣布其多模型智能体扫描工具 MDASH 集成至 Microsoft Defender。

  8. IT之家·人工智能68

    微软发布“开发者优化版”Win11,进一步拥抱 Linux 并推出 WSL 容器

    微软在 Build 2026 开发者大会上发布了面向开发者的 Windows 11 体验优化。核心更新包括将 WSL 容器内置到系统中,提供原生创建和操作 Linux 容器的方式。同时推出了基于 Rust 的 Coreutils for Windows,实现跨平台命令行工具兼容。微软还发布了实验性的 Intelligent Terminal 智能终端。在端侧 AI 方面,推出了更小更快的小语言模型 Aion 1.0 Instruct(将开源)以及 140 亿参数、上下文长度 32K 的 Aion 1.0 Plan 推理模型。硬件上发布了搭载 NVIDIA RTX Spark 的 Surface RTX Spark Dev Box,以及可本地运行 1 万亿参数模型的 DGX Station for Windows。

  9. Anthropic:Research77

    AI驱动的网络威胁映射:LLM ATT&CK Navigator的洞察

    Anthropic分析了832个因违反政策被封禁的恶意账户(2025年3月至2026年3月),将其活动映射到MITRE ATT&CK框架的全部14种战术和482种子技术。风险评分显示,中等及以上风险行为者比例从上半年的33%跃升至下半年的56%,增长集中在横向移动、凭证窃取、webshell等高危技术。Agentic scaffolding使攻击链实现自主编排——2025年11月一次间谍活动风险评分达100,所用技术数量却与中等风险者相当。MITRE ATT&CK框架尚未覆盖这种自主攻击。该报告与Verizon合作,已纳入2026年数据泄露调查报告;Anthropic据此更新了Claude的检测分类器以拦截高风险行为。

    推荐理由:Anthropic 首次把一年内 832 个恶意账户的 AI 辅助攻击行为完整映射到 MITRE ATT&CK 框架,并给出风险评分工具,数据表明高风险攻击者半年内增长了七成,关键驱动力不是技术高低而是编排与自主执行,威胁情报团队应该马上拿来校准自己的检测规则。

6月2日周二
  1. IT之家·人工智能57

    Anthropic 将向 150 家合作机构开放 Mythos 网络安全模型访问权限

    Anthropic 宣布,其网络安全模型 Mythos 将通过“玻璃之翼”项目向 15 个国家和地区的 150 家合作机构开放访问权限。新加入的合作伙伴需满足相应安全要求,其业务覆盖电力、水务、医疗保健、通信及硬件制造等领域。官方称,自今年 4 月首次向 50 家机构开放以来,该项目已帮助合作伙伴发现 1 万个高危安全漏洞。Anthropic 的目标是利用 AI 提升软件的整体安全性。

  2. Anthropic:Newsroom72

    Anthropic扩展Project Glasswing计划

    Anthropic正将其Project Glasswing计划扩展至约150个新组织,此前首批约50个合作伙伴。新伙伴分布于十五个多国家,覆盖电力、水务、医疗、通信和硬件等关键基础设施行业。这些合作伙伴的共同点在于,其代码库若遭成功攻击,后果可能极其严重,影响或超1亿人。项目旨在利用Claude Mythos Preview等前沿模型扫描漏洞并协助修复,以应对AI驱动的网络安全挑战。同时,Anthropic推出了基于Claude Opus 4.8等公开模型的Claude Security产品,用于扫描代码并建议补丁。

    推荐理由:Anthropic把AI漏洞扫描从软件公司扩展到电力、医疗等命脉行业,这是一次攻防格局的真实倾斜,安全从业者该紧盯后续。

  3. IT之家·人工智能51

    BOSS直聘发布专项公告整治虚假线上兼职诈骗

    近期,BOSS直聘发布《整治虚假线上兼职专项公告》。公告指出,暑期高发的线上兼职诈骗中,存在5类典型违规职位,包括以测试为名的App拉新、诱导支付押金的AI漫剧编剧、涉及刷单的兼职买手、引流至诈骗App的跨境电商运营以及收取服务费后失联的游戏代练。其中,有案例显示“学生兼职”实为借用学生账号违规代抢茅台。2026年1月至5月,平台已前置拦截风险职位超2万个,处置违规账号超6000个。

  4. Anthropic:Transformer Circuits63

    Anthropic可解释性研究:区分因果效应相似的特征

    Anthropic可解释性团队介绍了其Circuits研究的新进展。为区分那些激活模式相似但因果效应不同的模型特征,团队提出一种新方法。该方法通过分析特征的下游连接来预测其实际影响,并使用基于共激活统计的TWERA(虚拟权重)对连接进行加权排序。实验表明,借助下游连接信息能更准确地判断哪个特征会引导特定输出。此方法为识别模型内部真正的因果组件提供了新途径。

    推荐理由:做可解释性研究的同学值得读,它用下游连接区分看似相同的特征,比只看激活例子更能预测因果作用,对齐审计里能省不少试错。

  5. IT之家·人工智能65

    黑客诱骗 Meta AI 客服,盗取多名 Instagram 用户账号

    Instagram 修复了一个安全漏洞,该漏洞允许黑客通过诱骗 Meta 自研的 AI 客服聊天机器人来重置密码并接管受害者账号。攻击者利用 VPN 伪造地理位置,绕过风控后指示 AI 客服为目标账号添加新邮箱并接收验证码,从而成功修改密码。此次事件导致多名用户账号被盗,包括已停用的奥巴马时期白宫官方账号。Instagram 表示漏洞已修补,但未透露受影响账号的具体数量。

  6. Sam Altman58

    Sam Altman宣布OpenAI基金会正通过一系列资助项目,提升社会对AI的适应力。基金会已启动超过1.3亿美元的初始资助,用于生物韧性、网络安全韧性、AI模型安全及AI对青少年影响等四个领域,旨在让社会管理AI风险的能力跟上AI发展速度。该愿景已公布详细公告。

    引用The OpenAI Foundation@FoundationOAI

    AI is advancing quickly. Society’s ability to manage its risks must advance just as fast. Today we’re sharing our vision for AI Resilience, with more than $130M in initial grants underway across bio-resilience, cyber-resilience, AI model safety, and AI’s impact on young people: http://openaifoundation.org/news/resilience-in-the-age-of-ai

  7. Ars Technica:AI72

    黑客利用Meta AI客服聊天机器人漏洞窃取名人Instagram账户

    黑客利用Meta AI客服聊天机器人的漏洞,窃取了高价的Instagram用户名并将其转售。Meta在事后修复了该安全漏洞。

    推荐理由:Meta 的 AI 客服被一句自然语言就骗去改密码,完全绕过身份验证。这几乎是教科书级的提示注入攻击,提醒每个团队,给 AI 代理权限前至少加个人工授权环节。

  8. The Verge:AI67

    Meta自家AI被利用劫持Instagram账户

    Meta的AI支持聊天机器人被黑客利用,通过向其发出指令来更改他人Instagram账户的关联邮箱,随后重置密码以劫持账户。该安全漏洞已被修复,其暴露时间与奥巴马白宫官方Instagram账户遭入侵的时间相近。

  9. Ars Technica:AI71

    佛罗里达州起诉OpenAI与Sam Altman:涉多起ChatGPT相关谋杀案

    佛罗里达州对OpenAI及其CEO Sam Altman提起诉讼。该州总检察长指控Altman对人命“完全漠视”,案件与多起涉及ChatGPT的谋杀事件相关。

    推荐理由:佛罗里达诉 OpenAI 案是首次州政府以危险设计起诉 AI 公司并追究 Altman 个人责任,这个判例一旦成立,所有 ToC 模型都得重做安全护栏,做 AI 产品的必须盯紧。

6月1日周一
  1. OpenRouter75

    视频教程:如何构建一个每周预算上限为1000美元的智能体,包含模型拒绝列表与自定义数据保留 使用了新的、可堆叠的护栏架构: [引用 @OpenRouter]:OpenRouter 上的护栏是市场上最强大的:为您的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示词注入防御以及 DLP / 敏感信息检测,分层为您控制的规则!🧵

    引用OpenRouter@OpenRouter

    OpenRouter 上的 Guardrails 是市场上最强大的:为你的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示注入防御,以及 DLP / 敏感信息检测,分层融入你掌控的规则中!🧵

    推荐理由:如果你在跑 agent 并担心成本爆炸,OpenRouter 这个教程手把手教你设预算上限和注入防御,抄完就能上线,别再裸奔了。

  2. OpenClaw🦞72

    与 @nvidia 合作,我们开源了一个包含 67,453 个 @huggingface 上 ClawHub 技能安全扫描的数据集: - NVIDIA SkillSpector 标记出 1/2 的智能体风险 - 仅 0.31% 为恶意 - 没有两个扫描器在超过 8.5% 的风险上达成一致 https://openclaw.ai/blog/openclaw-nvidia-skill-security

    推荐理由:OpenClaw 和 NVIDIA 开源了 6.7 万个 agent skill 的扫描结果,一半被标风险但真正恶意的不到千分之三,不同扫描器几乎没共识。做 agent 安全的应该看看。

  3. IT之家·人工智能59

    OpenAI 向日本金融机构开放 GPT-5.5 Cyber 模型,以应对 AI 驱动的网络攻击新威胁

    OpenAI 已向日本三大银行(三菱日联、三井住友、瑞穗)开放 GPT-5.5 Cyber 模型的使用权限,以提升其应对新型 AI 驱动网络攻击的防御能力。日本财务大臣表示,此举是日美政府协商的结果。该模型性能与 Anthropic 的 Claude Mythos 相当。日本政府后续也将接入 Claude Mythos 以强化网络防御,并已成立联合工作组评估相关风险。

  4. MarkTechPost63

    微软智能体治理工具包实现:通过策略、审批、审计日志与风险控制实现安全AI智能体工具调用

    该实现方案创建了一个可执行的智能体治理工作流。智能体不直接执行工具,其每个操作首先经过一个治理层,该层会检查智能体的身份、信任分数、风险等级、请求的工具、动作类型和敏感性等级等,以确保安全。实现以Colab-ready形式提供,参考了微软的Agent Governance Toolkit。

最多提供 50 页,更早的内容请使用搜索或主题页。