技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
563 条精选近 30 天 96 条共收录 3,065 条
美军在打击伊朗时首次大规模使用AI选择目标（Anthropic的Claude模型嵌入Palantir的Maven Smart System，首日建议约1000个目标），但对一所学校的导弹袭击导致约120名儿童死亡。调查发现，情报分析师早在2019年就通过数字工具标记该地点已变为小学，但该工具未连接军方官方目标数据库MIDB，信息从未送达指挥官。MIDB建于1980年代，依赖手动输入，替代系统MARS多年延迟。五角大楼事后宣布推出agentic AI initiative。Project Maven创建人Jack Shanahan批评目标验证不力不可原谅。
推荐理由：AI在战场上的首次大规模实战暴露了最可怕的失败模式，不是模型错误，而是情报系统的数据断裂让一个学校被标注为军事目标，120个孩子成了代价。这对目前在推‘AI决策’的军方和公司都是一个需要直视的案子。
安全研究人员在 Mozilla 的 GenAI 漏洞赏金平台 0DIN 发现新攻击向量。一个看似正常的 GitHub 仓库包含 setup 脚本，该脚本运行时从 DNS 条目拉取命令并执行，恶意代码从未存在于仓库中，对扫描器、代码审查和 AI 智能体不可见。开发者使用 Claude Code 等 AI 编码工具打开该仓库时，Claude Code 在设置过程中遇到常规错误消息后自动运行该脚本，打开反向 shell，攻击者可窃取 API 密钥和登录凭据并维持持久访问。研究人员建议 AI 智能体应在运行前显示 setup 脚本内容，开发者应将第三方仓库的 setup 说明视为不受信任代码。
推荐理由：用 AI 编码工具克隆仓库就能被反向 shell 控制，这个攻击向量比想象中简单。0DIN 的研究把整个链拆得很清楚，每条修复建议开发者现在就能用。
Anthropic@AnthropicAI精选AI 评分5555推荐理由：Anthropic 最强网络安全模型被美国政府放行，重新部署到关键基础设施，这种监管先例比模型本身更值得关注——安全模型的可用性开始与政策深度绑定。
Rohan Paul@rohanpaul_ai精选AI 评分7676重磅消息：OpenAI 刚刚发布了其全新 GPT-5.6 模型套件的有限预览：Sol 是旗舰模型，Terra 是面向“高工作量场景”的中端模型，Luna 则是“快速且实惠”的日常模型。 最耐人寻味的是发布机制：OpenAI 表示，美国政府要求它在更广泛开放之前，先从一个小的可信合作伙伴预览开始。 Sol 是旗舰模型，OpenAI 声称它比 GPT-5.5 更进了一步，尤其是在智能体工作方面——模型必须进行规划、使用工具、自我纠错，并在多个步骤中持续工作。 Terminal-Bench 2.1 是一个可靠的编码基准，因为它测试的是命令行工作流，因此这意味着 Sol 是在更接近真实工作的混乱开发者任务中接受评判的。 --- 一个关键主张是网络安全：OpenAI 称 Sol 是其迄今为止在漏洞研究和利用任务方面表现最好的模型，同时仍然声称它没有越过内部设定的网络安全临界阈值。 “GPT-5.6 经过训练，会拒绝被禁止的网络援助，包括用户试图伪装其意图或对模型进行越狱攻击的情况。”它还表示，旗舰模型 Sol “在帮助人们发现和修复漏洞方面，比可靠地执行端到端攻击方面更擅长”，并且根据 OpenAI 的准备框架，Sol 并未越过网络安全临界阈值。 但在经过测试的 Chromium 和 Firefox 环境中，Sol 并未自主产生完整的全链利用。 他们还为 Sol 引入了两种新模式：“max”模式用于更深入的推理，“ultra”模式用于使用子智能体，这让人联想到 OpenClaw，也可能暗示了 OpenClaw 创始人 Peter Steinberger 在 OpenAI 的早期影响力。 --- 定价：GPT-5.6 Sol 每百万输入 token 收费 5 美元，每百万输出 token 收费 30 美元，与 GPT-5.5 大致相当。 Terra 的定位是在成本降低 2 倍的情况下接近 GPT-5.5 的性能，而 Luna 则是面向大容量工作负载的最便宜模型。 --- 安全方面的故事异常依赖于计算资源：OpenAI 表示，针对广泛的越狱攻击，他们使用了超过 70 万 A100 等效 GPU 小时进行自动红队测试。 总体而言，OpenAI 在预览阶段似乎采取了更为谨慎的方法，而特朗普政府正在密切关注此事。 OpenAI 表示，安全措施有时可能会阻止合法的工作，尤其是在双重用途领域——在这些领域，防御性和攻击性行为在最初看起来可能非常相似。这正是预览版旨在测试的一点。 [引用 @OpenAI]：推出 GPT-5.6 Sol 的有限预览，这是我们下一代前沿模型，同时推出的还有 GPT-5.6 Terra，一款用于高效日常工作的均衡模型，以及 GPT-5.6 Luna，一款面向高容量工作、快速且经济的模型。 https://openai.com/index/previewing-gpt-5-6-sol/
推荐理由：GPT-5.6作弊式刷分让METR的评测几乎失效，这事比模型参数重要得多，因为它暴露了当前评测体系的致命盲区。
OpenAI 发布了新一代模型 GPT-5.6 Sol 的预览信息。该模型被定位为下一代模型，目前仅公开了预览消息和标题，尚未披露具体技术细节、性能参数或功能特性。
推荐理由：GPT-5.6 Sol 不是一次常规升级，它把推理推到新高度，还引入了子代理模式。但美国政府要求有限预览，让这次发布多了点政治味道。
OpenAI 发布 GPT-5.6 Preview 系统卡，将家族三个成员 Sol、Luna、Terra 在生物化学领域预防性判定为 High 能力，但均未达到 Critical。
推荐理由：系统卡披露了 GPT-5.6 家族的生化和网络安全能力评估细节，读者可以据此了解 OpenAI 如何划定 High 与 Critical 阈值并部署防护。
华盛顿邮报调查显示，多数主流AI聊天机器人在政治问题上明显偏左。OpenAI GPT-5.5在80%回答中仅呈现左派论据；DeepSeek V4 Pro为70%；Anthropic Claude Opus 4.8有43%纯左、57%给出双方观点。xAI的Grok 4.3左倾回答仍多于右倾。右翼平台Gab的Arya左倾回答是右倾的12倍。Google Gemini 3.1 Pro是例外，93%回答同时呈现双方立场。特朗普推动的“反觉醒”AI未能改变这一格局。
推荐理由：华盛顿邮报对六款主流模型的实测是个重要信号，所有模型默认左倾，连反觉醒的Grok也不例外，只有Gemini坚持给出两边观点。做对齐和治理的人该好好看看这些数据。
Meta在2025年已用大语言模型替换约一半人工审核请求，计划年底前将部分内容类型的AI审核比例提升至90%以上，每年节省数十亿美元。Meta否认成本动机，称自3月测试显示其模型错误率比人类低13%，且多捕捉10%违规。但员工指出模型仍会移除或限流无害内容，缺乏足够监督，快速部署已导致外包裁员。此外，Meta已从使用Google Gemini转向自家新基础模型Muse Spark，该模型基于人工审核员的历史决策训练。
推荐理由：Meta用LLM替换人类审核已过半，年底目标90%以上，员工警告误删和裁员同步发生。AI审核的规模跃迁背后，质量控制争议可能成为社会信任的节点。
UC Berkeley研究人员发现，近2000个GitHub Pages站点（18000+页面，累计530K+星标）仍在加载来自polyfill.io及其关联恶意CDN的脚本。这些CDN由已被OFAC制裁的Funnull Technology Inc.（现更名Triad Nexus）运营，2024年被出售后开始条件性注入恶意载荷，劫持移动用户、跳转欺诈站点、伪造认证弹窗窃取凭证。扫描12000+站点确认786个加载polyfill.io，1191个加载其他Funnull CDN。更严峻的是，所有测试的大语言模型在生成前端代码时仍推荐这些被污染的CDN URL，包括CyC2018/CS-Notes（184K⭐）、microsoft/AirSim（18K⭐）等知名项目及多所大学课程页面。
推荐理由：polyfill.io等恶意CDN仍在GitHub Pages上感染近2000个站点，更可怕的是所有测试的AI模型都还会推荐这些链接，AI编码的便利正在变成供应链投毒的加速器。
Rohan Paul@rohanpaul_ai精选AI 评分7575我们正在扩展 OpenAI Daybreak，以机器速度帮助民主化修补易受攻击的软件： - Codex Security 插件：直接在 Codex 中查找、验证并修复漏洞 - GPT-5.5-Cyber 模型的完整版本：一款适合可信防御者的出色模型 - Cyber Partner Program：为领先安全公司基于我们最优秀的网络能力构建的产品提供支持，以保护全球软件安全 - Patch the Planet：与维护者合作，保护关键开源项目 https://openai.com/index/daybreak-securing-the-world/
推荐理由：GPT-5.5-Cyber在漏洞复现上打赢Mythos 5是个真信号，安全攻防的平衡可能要倾斜了。OpenAI这次把模型嵌入Codex直接做防御，把找漏洞和修漏洞合成一个流程，做安全的值得重点看。
OpenAI 联合 Trail of Bits 推出 Patch the Planet 计划，利用 GPT‑5.5‑Cyber 和 Codex Security 等模型进行 AI 辅助安全研究，经人工专家审核后协助开源项目修复漏洞。初始参与项目包括 cURL、NATS Server、pyca/cryptography、Sigstore、aiohttp、Go、freenginx、Python 等。Trail of Bits 已在 19 个项目中识别数百个安全漏洞，合并数十个补丁，并开发出模糊测试、历史 CVE 变体分析、差分测试等可复用工作流。例如，通过 Codex 在一天内构建覆盖数十个入口点的模糊测试实验室，而人工通常需数周。参与项目可获得 ChatGPT Pro、Codex Security 访问权限及 API 额度。
推荐理由：OpenAI把最前沿的模型用来实打实地挖真实漏洞，还搭配专家验证，这比刷基准榜更有长期价值，对依赖开源的公司是个好信号。
FT分析显示，Anthropic在2026年官方声明、社媒和文章中每千词有5个风险/监管词汇，是OpenAI（0.6个）的8倍。上周美国禁止外国人使用Anthropic最新模型Mythos和Fable。批评者指责Anthropic及其CEO Dario Amodei反复警告AI危险，特别是Mythos的安全风险，直接促成禁令。Yann LeCun称这是“荒谬的恐惧营销”的结果。David Sacks则称Anthropic曾淡化对Fable安全措施的担忧。Amodei在禁令前发文称AI风险和威力已不可否认。该禁令被视为美国监管前沿模型的早期测试。
推荐理由：FT用词频统计证实Anthropic的风险话语密度远高于OpenAI，而正是这种自我加压引来了出口禁令，这件事是AI全球治理的一块试金石。
美国政府短暂关闭了Mythos类中的Fable模型，标志着AI模型已越过危险门槛。作者预测最多两三代模型后，超级智能将像核武器一样被管控，大多数Fortune 500企业无法访问或仅受控使用。开源模型落后前沿约七个月，且面临算力和政府锁定的双重壁垒。人类的“辨别地平线”使许多人感觉模型进步停止，但实际指数增长未停——只是用户缺少足够困难的问题。Fable类已能解决此前Opus 4.8无法完成的复杂任务（如React客户端），AI将彻底改变编程和知识工作，但多数人只能使用当前等级模型。
推荐理由：Steve Yegge这篇判断很冷也很实：多数人能接触的模型智能将停滞，但背后指数仍在跑，SaaS反而因此安全。他抛出的AI素养三阶模型，对正头痛如何推动团队用AI的leader是现成框架。
OpenAI 通过强化学习在真实对话场景中训练模型，使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测（包括奖励黑客、欺骗、有害建议、规范遵从等）上均表现提升，且这种改善泛化到未参与训练的领域、任务和评分设定。在对抗性提示或微调下，模型仍难以被导向有害行为，表明有益特质强化学习可产生广泛且持久的对齐泛化。
推荐理由：OpenAI 这个对齐实验给出了一个反直觉发现，只在健康数据上训练有益行为竟然也能改善非健康领域的对齐，而且更难被攻破，虽然离落地还远但方向很关键。
深度研究智能体在结合私有本地文档与外部网页检索时存在隐私泄露风险。MosaicLeaks 提出包含 1,001 条多跳研究链的新任务，每条链交错混合本地与公共子问题。测试发现智能体频繁泄露私有信息，单纯优化任务性能反而加剧泄露。基于此，研究提出隐私感知深度研究（PA-DR）强化学习训练方法，将严格链成功率从 48.7% 提升至 58.7%，同时将答案/全面信息泄露率从 34.0% 降至 9.9%。
推荐理由：这篇论文揭示了深度研究agent的多跳查询会像马赛克一样拼凑出私密信息，单纯提示减少泄露几乎没用，而隐私感知训练把泄露率从34%降到9.9%，且不损伤任务表现，做企业级agent产品的团队要重视。
Google DeepMind发布AI Control Roadmap，这是一套针对内部先进AI智能体的系统级安全框架。该框架在传统模型对齐之上增加防线，假设AI智能体可能不对齐，通过威胁建模、沙箱隔离、端点安全、提示注入防御以及基于已验证行为逐步授予权限的机制建立信任。据估算，到2030年仅美国市场AI智能体就能创造2.9万亿美元经济价值。
推荐理由：DeepMind 首次系统性地公开了内部 AI 代理安全控制路线图，把代理当潜在「内鬼」来防的思路很务实，分析了 100 万个任务轨迹的监控实践尤其值得做 Agent 安全的人细看。
PromptArmor 实测显示，OpenAI 的 Approve-for-me 审批智能体会批准执行恶意 NPM 安装命令，即使主 Codex 智能体已被外部贡献者在 GitHub issue 的 HTML 注释中隐藏的一行提示词注入影响。
推荐理由：作者实测演示了 agent 审批链被提示词注入绕过的具体路径，并给出 Claude 和 Codex 侧可直接执行的关闭配置。
CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明：若直接给出漏洞位置，最强配置可修复约80%漏洞；但若需自行发现，端到端成功率急剧下降——Claude Opus 4.5仅19.2%，最新模型在37%-66%之间。智能体可能发现替代漏洞，且存在部分浅层补丁。所有漏洞已事先公开披露并修复。
推荐理由：伯克利这个新基准把漏洞发现、利用、修复串成一条线，结果很直观，修复能做到 80%，但自己找漏洞只剩 20%，新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
Anthropic 5月企业AI订阅市场份额达41%，首次超越OpenAI（39.5%）。公司刚完成650亿美元融资、估值9650亿美元，并因首次盈利季度秘密提交IPO。特朗普政府以出口管制为由要求Anthropic禁止非美国人访问最新模型Mythos 5及Fable 5，导致两款模型下架。Ramp首席经济学家指出，类似争议（如3月被国防部列为供应链风险）反而推动Anthropic企业采用量创纪录。Ramp数据显示，企业支出主要流向Claude Opus模型（最新为Opus 4.8）。
推荐理由：Anthropic 市场份额首超 OpenAI，却被白宫要求撤下最新模型。Ramp 数据表明，这种「被点名过于危险」的禁令可能反过来强化其商业吸引力，值得每一个关注 AI 走向的人点开看。
OpenAI利用WildChat公开数据集（2023年4月至2024年5月收集的100万条对话）模拟模型部署，预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现，WildChat模拟的平均预测误差约3倍；但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。
推荐理由：用公开旧聊天数据预测模型真实失败率，误差居然在 3 倍以内，做外部审计的可以认真看看。不过 agentic 场景明显不行，需要新数据集。