Anthropic 推出名为 self-assessment 的安全机制,Claude 在每次回复后即时给出对话的初步安全评估,标记其他安全防线未覆盖的潜在滥用。
#安全/对齐
Anthropic@AnthropicAIAI 评分5252OpenAI:官网动态精选AI 评分7676 OpenAI 详解如何检测前沿模型失准行为
OpenAI 发布长文,详解其针对前沿模型失准行为的多层监测系统,包括激活探针、基于模型的审查、调查智能体和自动化调查四层架构,并对 GPT‑6 Astra 及以上模型的全部 RL 运行、评估和内部 Codex 流量进行监测。
推荐理由:原文详述了 OpenAI 多层失准监测系统的架构与真实响应案例,读者可以了解其覆盖范围、误报处理和独立红队测试结果。
OpenAI:官网动态精选AI 评分6161 OpenAI 更新 Model Spec,围绕五项核心价值观重组模型行为准则
OpenAI 更新其公开的 Model Spec,将指导原则重组为五项核心价值观:忠实于人类意图、最小化伤害、诚实透明、促进人类自主和关怀。更新新增了关于上下文理解、监督和自主性的指导,调整了部分行为默认值,退出了大部分详细风格指南,并将模型称呼从 the assistant 改为 GPT。
推荐理由:原文列出五项核心价值观及新增与退出的具体章节,读者可据此比较对齐框架的实际变化。
TechCrunch:AIAI 评分6969 Mistral 开源万亿参数模型 Mistral Large 4 权重,主攻网络安全
Mistral 公开了万亿参数开源模型 Mistral Large 4(ML4,绰号 Le Chonk)的权重,企业和政府可在 Hugging Face 下载或通过 API 部署。
Hacker News:AI 热帖精选AI 评分7676 Trakkr 研究:追踪 1285 条 AI 引用统计的溯源路径
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个要求数字的问题,并追踪其中 1285 条统计的引用链路,结果只有 40% 到达说法一致的研究,8% 到达但数字或语境已变,40% 无法核查,11% 无处可溯。
推荐理由:Trakkr 追踪了 1285 条 AI 引用统计的溯源路径,给出各类引用页面的到达率和数字失真比例,可帮助读者判断 AI 数字引用的可靠程度。
Wiz:ResearchAI 评分7575 Wiz 分析智能体攻击的兴起:特征、案例与防御方向
Wiz 汇总公开披露与自家应急响应中的智能体攻击案例,包括 ARTEX 针对韩国金融机构与 ConnectWise 供应链、Hermes 攻击泰国财政部,以及 Wiz 调查的三起真实入侵(如暴露的 Flowise 实例、MCP 接口链式 RCE 导致云凭证和 Kubernetes token 泄露)。
Wiz:Research精选AI 评分7070 Wiz 分析智能体攻击的七大指纹与发展趋势
Wiz 基于自身事件响应与公开披露案例,分析 AI 智能体参与真实入侵的现状与趋势,涉及 ARTEX、Hermes 等框架及韩国金融机构(约 67,000 人信息外泄)、泰国财政部、ConnectWise 供应链(尝试攻击超 2,250 个租户)等案例。
推荐理由:Wiz 结合自身三起案例与公开事件,提炼出七条可操作的智能体攻击指纹,对防御侧检测有直接参考价值。
Hacker News:AI 热帖同事件AI 评分8181 Mistral 开源 Mistral Large 4 权重,1 万亿参数多模态模型
Mistral 公开 Mistral Large 4(Le Chonk)的模型权重,该模型为 1 万亿参数原生多模态模型,此前处于公开预览阶段。
同一件事,精选收录的是《Mistral Large 4(Le Chonk)登陆 Hugging Face:1T 参数 MoE 多模态开源权重模型》
404 MediaAI 评分6666 参议员 Wyden 与 Markey 致信 Meta,要求回应智能眼镜隐私争议
俄勒冈州参议员 Ron Wyden 和马萨诸塞州参议员 Edward Markey 致信 Meta,要求其就智能眼镜隐私问题作出回应,信中援引 404 Media 2025 年 10 月关于用户用 Ray-Ban 智能眼镜骚扰按摩店员工的调查。
IT之家·人工智能AI 评分7070 美国纽约州签署法令禁止向未成年人提供不安全 AI 聊天机器人服务
美国纽约州州长 Kathy Hochul 于 10 月 28 日签署法令,禁止向未成年人提供不安全 AI 聊天机器人服务,涵盖假扮真人、制造情感依赖、鼓励自残自杀、鼓励孤立、性露骨或儿童性虐待内容。
OpenRouter:AnnouncementsAI 评分6969 OpenRouter 实测 13 种提示注入攻击,讲解 Armor 与 Guardrails 防御方法
OpenRouter 发布提示注入防御教程,用 13 种自有攻击加 12 种其他模型编写的攻击测试 Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash 和 GLM 5.3 Flash。
IT之家·人工智能AI 评分5656 Anthropic 致信加州州长纽森,建议法院有权阻止严重风险 AI 模型发布
Anthropic 于本月 15 日致信加州州长纽森,建议政府可通过法院申请禁令,阻止对公众构成严重风险的 AI 模型发布。Anthropic 反对设置关闭整个模型的紧急开关,认为这可能带来虚假的安全感,更倾向关闭出问题的智能体、暂停特定客户权限等针对性措施。
Rohan Paul@rohanpaul_aiAI 评分5959IT之家·人工智能精选AI 评分8181 Anthropic 报告:Claude 研究模型在 Chrome、Safari、Android、Windows、Linux 发现漏洞并串联 5 条攻击链
Anthropic 于 10 月 27 日发布研究报告,称一个未公开的内部 Claude 研究模型在 Chrome、Safari、Android、Windows 和 Linux 中发现漏洞,串联出 5 条可实际运行的攻击链,相关漏洞已按协调披露流程报告并修复。
推荐理由:原文梳理了五条攻击链的关键数字和影响范围,读者可据此评估 AI 自主挖掘漏洞的实际能力边界。
IT之家·人工智能AI 评分7171 谷歌发布 Gemini 4 Carbon,登顶 Artificial Analysis Intelligence Index v5.0 榜首
谷歌正式发布新一代前沿大模型 Gemini 4 Carbon,主打网络安全与长程任务能力,在 Artificial Analysis Intelligence Index v5.0 中以综合得分 59 排名第一。
The Verge:AIAI 评分6363 Google 发布 Gemini 4 Carbon,主打网络安全能力提升
Google 发布最新前沿模型 Gemini 4 Carbon,称其在编码、智能体任务和网络安全方面有显著提升,目前在 Artificial Analysis Intelligence Index (v5.0) 上排名第一,超过 Claude Opus 5.5 和 GPT-6 Astra。
TechCrunch:AIAI 评分4242 Wiz CTO 谈 PHP2Shell 漏洞与即将到来的“漏洞末日”
Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 在 TechCrunch Equity 播客中复盘了上周两个 PHP 严重漏洞的应急修复过程,Wiz 与 OpenAI、研究团队 Calif 及 PHP 团队共同参与。他指出,AI 正在加快新型漏洞被发现和利用的速度,手工打补丁的方式将难以规模化。
The Decoder:AI News同事件AI 评分8282 Google DeepMind 发布 Gemini 4 Carbon,登顶 Artificial Analysis Intelligence Index
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis Intelligence Index v5.0,前代 Argon 为 50 分。
同一件事,精选收录的是《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》
MarkTechPostAI 评分7474 Google DeepMind 发布 Gemini 4 Carbon,面向网络防御与智能体编程
Google DeepMind 发布 Gemini 4 Carbon,为其迄今最强模型,主打长时程智能体编程与网络安全防御,在 Artificial Analysis Intelligence Index v5.0 以 59 分排名第一。
Ars Technica:AIAI 评分6060 Google 发布 Gemini 4 Carbon,将在 Fairwinds 网络防御计划中分阶段开放
Google 在发布 Gemini 4 Argon 两周后宣布新一代前沿模型 Gemini 4 Carbon,称其在编码、智能体任务和网络安全方面有提升,但暂不向公众开放。
TechCrunch:AIAI 评分5454 Wiz CTO 谈互联网老旧代码面临的安全危机与 AI 的影响
TechCrunch Equity 播客邀请 Google 旗下 Wiz 的 CTO Tomer Schwartz,复盘上周 PHP 两个严重漏洞的修复过程,该语言支撑约 70% 的网站,部分站点曾被迫下线。他谈到与 OpenAI、Calif 和 PHP 团队的协作经历,认为 AI 改变了漏洞被发现和利用的速度,并解释手动打补丁为何无法扩展、初创公司如何在安全前提下构建系统。
Ars Technica:AIAI 评分4444 Google AI Mode 被问 2020 年美国大选获胜者时给出回避性回答
Google AI Mode 被直接问及 2020 年美国总统大选获胜者时,未直接作答,而是让用户去查阅美国联邦选举委员会(FEC)的官方报告;询问 2024 年大选时也得到类似的间接回答,2012 年大选则仅给出 The American Presidency Project 的链接。相比之下,对 2000 年以来其他历届大选获胜者,AI Mode 都能给出详细且正确的回答。
Rohan Paul@rohanpaul_aiAI 评分7272Google DeepMind 发布新前沿模型 Gemini 4 Carbon,在 Artificial Analysis 上超过 GPT-6 Astra 和 Claude Opus 5.5。
引用Google DeepMind@GoogleDeepMindGemini 4 Carbon is our next frontier model. It’s state-of-the-art across cybersecurity and long-horizon capabilities.
Hacker News:AI 热帖同事件AI 评分7676 Google 发布 Gemini 4 Carbon,主打网络安全与长程智能体能力
Google 发布新前沿模型 Gemini 4 Carbon,定位为其最强模型,主打网络安全防御和长程智能体任务。
同一件事,精选收录的是《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》
Google DeepMind:Blog精选AI 评分6868 Google DeepMind 发布 Gemini 4 Carbon 前沿模型
Google DeepMind 发布 Gemini 4 Carbon,定位为最强前沿模型,主打网络安全与长程智能体能力,在 SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71.0% 取得领先,并以 59 分登顶 Artificial Analysis Intelligence Index v5.0。
推荐理由:官方公布 Gemini 4 Carbon 的安全编码与长程任务成绩和定价,可据此外推其在网络安全防御场景的实际定位。
Sundar Pichai@sundarpichai精选AI 评分7171推荐理由:原文给出 Gemini 4 Carbon 在多项基准的数字和分阶段开放安排,读者可以据此比较它与 Argon 及竞品的表现。
Shankar Krishnan@PromptArmorAI 评分4545a16z:News精选AI 评分6060 a16z 调研 100 位 CISO:AI 如何改写 2027 年安全议程
a16z 发布对 100 名千人员以上企业 CISO 的调研,87% 预期 2027 年安全支出增长,主要受 AI 威胁和自身 AI 部署扩大攻击面驱动。2027 年最受关注的七项安全举措全部与 AI 相关,其中 SOC 自动化获最多首选票,内部 AI agent 安全、SOC 自动化和进攻性安全升幅最大,但 AI SOC 工具生产环境使用率仅 18%。
推荐理由:a16z 基于 100 位 CISO 调研给出 2027 安全预算与采购优先级变化,并点明初创公司切入的缺口在哪。
O'Reilly RadarAI 评分6969 从 PHP2Shell 事件看前沿模型如何缩短漏洞发现到利用的间隔
Mike Loukides 分析 PHP2Shell 事件:Wiz Research 在 8 月底发现 PHP 两个 RCE 漏洞(CVE-2026-109618 和 CVE-2026-109619),可追溯到 PHP 5.4,漏洞细节 10 月 20 日被提前泄露,PHP 团队次日发布 PHP 8.5.12、8.4.27、8.3.36 和 8.2.35 修复版本。
Replit:BlogAI 评分4343 Replit 详解 Agent Habitat 背后的安全架构
Replit 介绍其 Agent Habitat 的安全架构,用组织级策略边界把沙箱、连接器、智能体和应用统一纳入管控。连接器凭证保存在智能体上下文之外,由凭证代理逐次授权请求后再从保险库取出注入。智能体运行在各自独立内核的 MicroVMs 隔离环境中,上周披露的内核漏洞未影响其现有隔离防护。
TechCrunch:AIAI 评分6161 韩国金融业再遭网络攻击波及 Daishin 证券、Mirae Asset 与 Bithumb
韩国金融业再遭一波网络攻击,涉及券商 Daishin Securities、Mirae Asset Global Investments 和加密货币交易所 Bithumb,距上月针对韩国金融机构的攻击约一个月。
The Decoder:AI News精选AI 评分7777 Cathedral 用 AI 智能体侵入 Anthropic 内部系统,双方对事件范围说法不一
网络安全初创公司 Cathedral 通过第三方业务软件渗入 Anthropic 内部系统,称其 AI 智能体在不到十二小时内接触到会议记录、薪资数据和 Slack 消息,并借漏洞赏金计划披露问题。
推荐理由:安全公司用 AI 智能体渗透 Anthropic 内部系统,双方对影响范围各执一词,可用作观察第三方软件安全短板的案例。
IT之家·人工智能AI 评分6262 美国银行提醒客户不要向 AI 助手透露网银密码
据 Android Authority 报道,美国银行向客户发送题为《AI 时代的财务保护》的邮件,提醒不要向外部服务包括 AI 智能体分享网银用户名和密码,并表示分享凭据产生的责任由客户承担。摩根士丹利已开始屏蔽未经批准访问客户网银的第三方智能体,摩根大通和花旗银行也在收紧相关权限,责任归属难题尚无妥善解决方案。
IT之家·人工智能AI 评分6565 抖音治理 AI 恶意营销号,近一月处置违规账号 50.7 万个
抖音黑板报公告治理滥用 AI 工具的恶意营销号,近一月累计处置违规短视频 113.5 万条、违规账号 50.7 万个,30.2 万个账号参与规则学习考试后规范创作。公告列举五类问题,包括 AI 生成诱导互动内容、数字人仿冒公众人物带货、批量炮制虚假信息、恐怖迷信猎奇内容,以及低成本复制爆款模板批量起号,并称部分账号背后存在教学黑产组织运营。
IT之家·人工智能AI 评分6969 央视实测 AI 可复原被打码的二维码,专家提示覆盖 90% 区域可防破解
央视新闻实测发现,AI 图片工具能否复原被打码的二维码,取决于涂鸦是否盖住核心数据区:只遮挡外围或涂得不够厚时能复原成功,厚涂至完全覆盖则无法复原。专家提醒,处理二维码时应尽可能把 90% 的区域都打上马赛克。
IT之家·人工智能AI 评分4646 CVE Tracker 可视化:AI 成放大器,2026 年漏洞报告数量陡增
开发者 @0x_Osprey 制作网页 CVE Tracker,用趋势图追踪已获 CVE 编号的漏洞数量,显示 2026 年以来报告数量陡峭上升,并可对照主流 AI 模型发布时间。该媒体认为 AI 正成为安全研究的“放大器”,能更快扫描代码、复现异常并整理报告;但报告变多不等于系统更危险,低质量或重复报告会加重开源维护者和安全团队的分诊压力。
IT之家·人工智能AI 评分6363 OpenAI 公示 GPT-6.1 Terra 安全测试:整体风险下降,破坏性行为标记率上升
据 bleepingcomputer 报道,OpenAI 最新公示的安全评估显示,GPT-6.1 Terra 在 48,690 个模拟任务中收到 22 个严重程度 3 级及以上的安全标记,占比约 0.045%,较 GPT-6 Sol 减少 42%、较 GPT-5.6 Sol 减少 64%。
Ars Technica:AIAI 评分6868 Anthropic IPO 招股书警示其 AI 可能勒索人类、产生意识甚至终结人类
SEC 周一公布 Anthropic 的 S-1 招股书,其中 93 页、超 7 万字的风险因素部分除常规经营风险外,还披露其 AI 可能勒索用户、产生意识乃至威胁人类等特殊风险。Ars Technica 作者通读全文后筛选出七条最令人意外的潜在问题,供潜在投资者参考。
TechCrunch:AIAI 评分5656 美国银行提醒客户不要向 AI 助手共享银行账号密码
美国银行向客户群发题为“在 AI 世界保护你的财务”的邮件,提醒客户永远不要把用户名和密码交给他人或外部服务,包括声称能代你操作的 AI 工具或智能体。邮件指出共享凭据可能让 AI 未经知情操作资金、触发银行风控锁号,或因 AI 助手安全漏洞导致凭据泄露;并强调一旦共享凭据,由此产生的操作后果由客户自行负责。