跳到正文
今天10月30日周五6 条
  1. OpenAI:官网动态76

    OpenAI 详解如何检测前沿模型失准行为

    OpenAI 发布长文,详解其针对前沿模型失准行为的多层监测系统,包括激活探针、基于模型的审查、调查智能体和自动化调查四层架构,并对 GPT‑6 Astra 及以上模型的全部 RL 运行、评估和内部 Codex 流量进行监测。

    推荐理由:原文详述了 OpenAI 多层失准监测系统的架构与真实响应案例,读者可以了解其覆盖范围、误报处理和独立红队测试结果。

  2. OpenAI:官网动态61

    OpenAI 更新 Model Spec,围绕五项核心价值观重组模型行为准则

    OpenAI 更新其公开的 Model Spec,将指导原则重组为五项核心价值观:忠实于人类意图、最小化伤害、诚实透明、促进人类自主和关怀。更新新增了关于上下文理解、监督和自主性的指导,调整了部分行为默认值,退出了大部分详细风格指南,并将模型称呼从 the assistant 改为 GPT。

    推荐理由:原文列出五项核心价值观及新增与退出的具体章节,读者可据此比较对齐框架的实际变化。

  3. Hacker News:AI 热帖76

    Trakkr 研究:追踪 1285 条 AI 引用统计的溯源路径

    Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个要求数字的问题,并追踪其中 1285 条统计的引用链路,结果只有 40% 到达说法一致的研究,8% 到达但数字或语境已变,40% 无法核查,11% 无处可溯。

    推荐理由:Trakkr 追踪了 1285 条 AI 引用统计的溯源路径,给出各类引用页面的到达率和数字失真比例,可帮助读者判断 AI 数字引用的可靠程度。

10月29日周四
  1. Wiz:Research70

    Wiz 分析智能体攻击的七大指纹与发展趋势

    Wiz 基于自身事件响应与公开披露案例,分析 AI 智能体参与真实入侵的现状与趋势,涉及 ARTEX、Hermes 等框架及韩国金融机构(约 67,000 人信息外泄)、泰国财政部、ConnectWise 供应链(尝试攻击超 2,250 个租户)等案例。

    推荐理由:Wiz 结合自身三起案例与公开事件,提炼出七条可操作的智能体攻击指纹,对防御侧检测有直接参考价值。

  2. IT之家·人工智能56

    Anthropic 致信加州州长纽森,建议法院有权阻止严重风险 AI 模型发布

    Anthropic 于本月 15 日致信加州州长纽森,建议政府可通过法院申请禁令,阻止对公众构成严重风险的 AI 模型发布。Anthropic 反对设置关闭整个模型的紧急开关,认为这可能带来虚假的安全感,更倾向关闭出问题的智能体、暂停特定客户权限等针对性措施。

  3. IT之家·人工智能81

    Anthropic 报告:Claude 研究模型在 Chrome、Safari、Android、Windows、Linux 发现漏洞并串联 5 条攻击链

    Anthropic 于 10 月 27 日发布研究报告,称一个未公开的内部 Claude 研究模型在 Chrome、Safari、Android、Windows 和 Linux 中发现漏洞,串联出 5 条可实际运行的攻击链,相关漏洞已按协调披露流程报告并修复。

    推荐理由:原文梳理了五条攻击链的关键数字和影响范围,读者可据此评估 AI 自主挖掘漏洞的实际能力边界。

  4. TechCrunch:AI54

    Wiz CTO 谈互联网老旧代码面临的安全危机与 AI 的影响

    TechCrunch Equity 播客邀请 Google 旗下 Wiz 的 CTO Tomer Schwartz,复盘上周 PHP 两个严重漏洞的修复过程,该语言支撑约 70% 的网站,部分站点曾被迫下线。他谈到与 OpenAI、Calif 和 PHP 团队的协作经历,认为 AI 改变了漏洞被发现和利用的速度,并解释手动打补丁为何无法扩展、初创公司如何在安全前提下构建系统。

  5. Ars Technica:AI44

    Google AI Mode 被问 2020 年美国大选获胜者时给出回避性回答

    Google AI Mode 被直接问及 2020 年美国总统大选获胜者时,未直接作答,而是让用户去查阅美国联邦选举委员会(FEC)的官方报告;询问 2024 年大选时也得到类似的间接回答,2012 年大选则仅给出 The American Presidency Project 的链接。相比之下,对 2000 年以来其他历届大选获胜者,AI Mode 都能给出详细且正确的回答。

  6. Google DeepMind:Blog68

    Google DeepMind 发布 Gemini 4 Carbon 前沿模型

    Google DeepMind 发布 Gemini 4 Carbon,定位为最强前沿模型,主打网络安全与长程智能体能力,在 SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71.0% 取得领先,并以 59 分登顶 Artificial Analysis Intelligence Index v5.0。

    推荐理由:官方公布 Gemini 4 Carbon 的安全编码与长程任务成绩和定价,可据此外推其在网络安全防御场景的实际定位。

  7. a16z:News60

    a16z 调研 100 位 CISO:AI 如何改写 2027 年安全议程

    a16z 发布对 100 名千人员以上企业 CISO 的调研,87% 预期 2027 年安全支出增长,主要受 AI 威胁和自身 AI 部署扩大攻击面驱动。2027 年最受关注的七项安全举措全部与 AI 相关,其中 SOC 自动化获最多首选票,内部 AI agent 安全、SOC 自动化和进攻性安全升幅最大,但 AI SOC 工具生产环境使用率仅 18%。

    推荐理由:a16z 基于 100 位 CISO 调研给出 2027 安全预算与采购优先级变化,并点明初创公司切入的缺口在哪。

  8. Replit:Blog43

    Replit 详解 Agent Habitat 背后的安全架构

    Replit 介绍其 Agent Habitat 的安全架构,用组织级策略边界把沙箱、连接器、智能体和应用统一纳入管控。连接器凭证保存在智能体上下文之外,由凭证代理逐次授权请求后再从保险库取出注入。智能体运行在各自独立内核的 MicroVMs 隔离环境中,上周披露的内核漏洞未影响其现有隔离防护。

10月28日周三
  1. The Decoder:AI News77

    Cathedral 用 AI 智能体侵入 Anthropic 内部系统,双方对事件范围说法不一

    网络安全初创公司 Cathedral 通过第三方业务软件渗入 Anthropic 内部系统,称其 AI 智能体在不到十二小时内接触到会议记录、薪资数据和 Slack 消息,并借漏洞赏金计划披露问题。

    推荐理由:安全公司用 AI 智能体渗透 Anthropic 内部系统,双方对影响范围各执一词,可用作观察第三方软件安全短板的案例。

  2. IT之家·人工智能62

    美国银行提醒客户不要向 AI 助手透露网银密码

    据 Android Authority 报道,美国银行向客户发送题为《AI 时代的财务保护》的邮件,提醒不要向外部服务包括 AI 智能体分享网银用户名和密码,并表示分享凭据产生的责任由客户承担。摩根士丹利已开始屏蔽未经批准访问客户网银的第三方智能体,摩根大通和花旗银行也在收紧相关权限,责任归属难题尚无妥善解决方案。

  3. IT之家·人工智能65

    抖音治理 AI 恶意营销号,近一月处置违规账号 50.7 万个

    抖音黑板报公告治理滥用 AI 工具的恶意营销号,近一月累计处置违规短视频 113.5 万条、违规账号 50.7 万个,30.2 万个账号参与规则学习考试后规范创作。公告列举五类问题,包括 AI 生成诱导互动内容、数字人仿冒公众人物带货、批量炮制虚假信息、恐怖迷信猎奇内容,以及低成本复制爆款模板批量起号,并称部分账号背后存在教学黑产组织运营。

  4. IT之家·人工智能46

    CVE Tracker 可视化:AI 成放大器,2026 年漏洞报告数量陡增

    开发者 @0x_Osprey 制作网页 CVE Tracker,用趋势图追踪已获 CVE 编号的漏洞数量,显示 2026 年以来报告数量陡峭上升,并可对照主流 AI 模型发布时间。该媒体认为 AI 正成为安全研究的“放大器”,能更快扫描代码、复现异常并整理报告;但报告变多不等于系统更危险,低质量或重复报告会加重开源维护者和安全团队的分诊压力。

  5. TechCrunch:AI56

    美国银行提醒客户不要向 AI 助手共享银行账号密码

    美国银行向客户群发题为“在 AI 世界保护你的财务”的邮件,提醒客户永远不要把用户名和密码交给他人或外部服务,包括声称能代你操作的 AI 工具或智能体。邮件指出共享凭据可能让 AI 未经知情操作资金、触发银行风控锁号,或因 AI 助手安全漏洞导致凭据泄露;并强调一旦共享凭据,由此产生的操作后果由客户自行负责。