跳到正文
9月10日周四
  1. OpenAI:官网动态69

    OpenAI 呼吁抓住 AI 政策窗口期,支持强制性国家安全监管与四项加州法案

    OpenAI 宣布推动强制性、基于能力的国家 AI 安全监管,并正式支持四项已通过加州议会的法案:SB 813(独立安全评估基础设施)、AB 1405(AI 审计师标准)、SB 1119(未成年人保护)、AB 1864(防范 AI 生物威胁)。

    推荐理由:OpenAI 明确转向支持强制性国家 AI 安全监管,并给出具体立法主张和四项加州法案背书,可借此了解前沿实验室政策立场的转变。

  2. clem 🤗52

    Hugging Face CEO Clément Delangue 引用 Anthropic 员工自述称,其内部真心认为 AI 可能致人类灭绝,未来十年风险大于 10%,且尚无解决超智能对齐的明确方案。Delangue 表示若真相信风险这么高,就需要 100 倍的研究,而这要求公开分享模型、数据集、训练代码和 agent traces。

    引用Evan Hubinger@EvanHub

    Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

  3. Peter McCrory54

    alexolegimas 联合 ben_moll 发布博文,分析 AI 能力快速提升为何未必转化为爆发式经济增长,认为两位数增长的预测大概率不会实现。要点是增长模型并不阻止 AI 带来爆发式增长,但该路径依赖一系列现实中难以成立的假设,例如被自动化部门因价格下降而在经济中占比缩小,这使能力大幅提升与约 4-5% 的增长(作者称已属很高)并存的趋势可能延续。

    引用Alex Imas@alexolegimas

    New post on the blog, featuring the excellent @ben_moll There’s been tons of discourse on how AI will contribute to economic growth, with many people closest to the technology predicting double digit increases. Are these forecasts likely? Probably not. The blog goes through the economics for why exploding improvements in capabilities (which technologists have been largely right about) may not translate to explosive growth. Ben’s thread covers this in detail, but gist is that: 1) there is nothing in economic growth models that prevents AI from leading to explosive growth but 2) this trajectory relies on a series of assumptions that are unlikely to hold in the real world. For example, one assumptions is likely to be violated because of a pretty counterintuitive feature of structural change: the sectors that become automated become smaller parts of the economy (because they’re cheaper, people become richer, and spending moves to non-automated parts of the economy). This, plus other features of the economy, is what will likely cause the trend of huge increases in capabilities coupled with “only” 4-5% growth (which is huge, btw) to continue. Here is the link: https://aleximas.substack.com/p/will-ai-soon-lead-to-double-digit Looking forward to hearing thoughts/feedback!

  4. TechCrunch:AI60

    Apple CEO John Ternus 称 iPhone 仍是最佳 AI 设备

    Apple 新任 CEO John Ternus 在 Surprise and Shine 活动开场阐述公司 AI 战略,称 iPhone 已是市面上最佳 AI 设备,即其所说的智能个人中心。他列出该设备应有的条件,包括理解个人上下文、可端侧运行 AI 模型、大屏、长续航和无缝协作,并强调 Apple 更重视数据隐私,Apple Intelligence 尽可能端侧运行。

  5. Rohan Paul54

    The Information 报道,Anthropic 安全研究员 Evan Hubinger 在 X 发文称公司确实认真相信 AI 可能杀死全人类,他个人认为未来十年内这一概率超过 10%。他还表示 Anthropic 正在尽力,但目前尚无解决超级智能对齐问题的方案,也未明确走在解决它的轨道上,相关言论引发其他研究者和开发者担忧。

    引用Evan Hubinger@EvanHub

    Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

  6. Ars Technica:AI66

    Anthropic 研究员 Jacob Coxon 离职并警告自我改进 AI 可能毁灭人类

    AI 研究员 Jacob Coxon 在社交媒体宣布离开 Anthropic,并警告前沿 AI 公司用可能在十年内毁灭人类的系统拿所有人的生命做赌注。他认为风险主要来自即将到来的自我改进超级智能,即能入侵一切系统、一夜革命任何领域并获得真实权力与资源的超人系统;同行要么没意识到文明层面的利害,要么认为必须抢在不负责任的对手之前竞速。

  7. Hacker News:AI 热帖80

    GPT-6 Astra 发布后,Sebastian Raschka 解析 looped transformer 与隐藏推理链传闻

    OpenAI 发布 GPT-6 Astra,作者评测认为其计算机使用和图像渲染能力尤为突出,ARC-AGI-3 达 99.9%,前代 GPT-5.6 Sol 仅 7.8%。

    推荐理由:作者以架构视角拆解 looped transformer 原理与研究进展,并给出循环架构与隐藏思维链传闻无关的独立判断,读者可借此理解争论的技术基础。

9月9日周三
  1. The Decoder:AI News83

    OpenAI 纳维-斯托克斯方程证明争议:Buckmaster 指控不当行为,各方回应引出开放科学之问

    数学家 Tristan Buckmaster 指控 OpenAI 施压、拒绝其合作者 Levent Alpöge(任职于 Anthropic)署名,且可能用两人上传到 Codex 的草稿训练模型,称其为绝对学术不端。

    推荐理由:原文梳理各方公开回应与 Terence Tao 的警告,读者可据此思考 AI 实验室与学术界的信任问题。

  2. Hacker News:AI 热帖68

    AI 研究员 Jacob Coxon 从 Anthropic 离职,警告 Anthropic 与 OpenAI 正在拿人类生命冒险

    曾在 Anthropic 和 OpenAI 工作的研究员 Jacob Coxon 宣布离职,称两家公司正径直奔向自我改进的超级智能,是在拿人类生命冒险。Anthropic 对齐团队负责人 Evan Hubinger 附议称确信 AI 可能在十年内杀死全人类,估计概率高于 10%,且目前尚无超级智能场景下保持对齐的方案。

  3. Rohan Paul54

    Jensen Huang 在接受 Axios 采访时回应“开源模型公司是否应被允许蒸馏闭源模型”,称从 AI 和他人知识中学习是智能的基础,更聪明的 AI 也可以是更安全的 AI。

    引用Rohan Paul@rohanpaul_ai

    In a new allegation, the U.S. government has accused 6 Chinese AI firms of using large-scale distillation to copy American model capabilities. The NSA, CISA and FBI published joint advisory AA26-251A, naming DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun and Z .AI as running industrial-scale distillation campaigns against U.S. frontier models since at least late 2024. The agencies say requests moved through a gray market of API proxies called transfer stations, bulk premium subscriptions shared across developer teams, and third-party aggregators that strip account metadata. Moonshot AI allegedly distilled 17 U.S. models, including Anthropic's Claude Fable 5, to train Kimi-K3. They claim DeepSeek's prompts pushed models to write out hidden chain-of-thought steps, which transfers reasoning method rather than finished answers. So they say that DeepSeek's headline training cost only covers the compute it burned. The advisory argues that number is misleading because it leaves out what the training data actually cost, which DeepSeek allegedly obtained by distilling U.S. models rather than producing it through its own research. So the cheap-training story rests on data someone else paid to create. The mitigation section asks U.S. labs to serve suspected distillers subtly degraded responses without telling them. Its detection indicators are behavioral, covering sustained 24/7 usage, new accounts at immediate maximum throughput, and traffic optimized for cache hits. Those patterns also describe an ordinary enterprise agent fleet, leaving each provider to decide which customers receive an undisclosed downgrade.

  4. IT之家·人工智能58

    唐家三少发文痛批“AI 泔水”:网络文学 48 小时可洗稿生成 500 万字

    网络作家唐家三少在《光明日报》发表署名文章,指出网络文学面临“AI 洗稿”频发与“AI 泔水”泛滥两大挑战。他称智能洗稿拆解爆款骨架后用 AI 重新填充,48 小时可生成 500 万字,并援引某平台首秀新书一年内从 400 部升至 5606 部的数据。他呼吁补齐文字领域 AI 标识短板,让 AI 生成内容“亮明身份”,并强化自律与法规。

  5. Gary Marcus:The Road to AI We Can Trust59

    Gary Marcus 转述 Terence Tao 与前 Anthropic 员工 Jacob Coxon 的两条 AI 警告

    Gary Marcus 归纳两条警告:Terence Tao 连发三帖,担忧 AI 缺乏智识品味、解题不等于新洞见,并以 OpenAI 在 Navier-Stokes 争议中花费 2250 万美元抢先 Alpöge 和 Buckmaster 为背景,呼吁透明度;刚从 Anthropic 离职的 Jacob Coxon 则发文警告前沿实验室的未来风险。

  6. Simon Willison 博客55

    陶哲轩担忧 AI 竞速正在摧毁数学界公开分享问题的传统

    陶哲轩指出,优质开放问题正被以不可再生的方式开采,可能趋于稀缺;甚至有人研究某个问题的传闻,就会引发大量 AI 驱动的攻题行动,在原研究项目充分展开前将其压平。他认为激励可能转向不再与社区分享有前景的方向,这会逆转数百年的开放科学传统并对领域未来造成长期损害。Simon Willison 引述了这段话。

  7. Rohan Paul66

    Rohan Paul 转述 OpenAI 官方消息:其未发布内部模型在多项基准上相比 GPT-6 Astra 有阶跃式提升,训练仍在进行。该模型组用约 10,000 个协作 AI 智能体在 88 小时内得出 Navier–Stokes 解,全程保持监测与隔离等前沿评估安全防护。作者认为新模型能更高效地利用额外推理计算,而非简单延长 Astra 的运行时间。

    引用OpenAI@OpenAI

    This model represents a step-function improvement on many benchmarks, and its training is ongoing. Our internal model group arrived at the Navier–Stokes solution in 88 hours, using around 10,000 coordinating AI agents. Throughout the effort, we maintained the strict safeguards—including monitoring and isolation—that we apply to all our frontier evaluations.

  8. Sam Altman73

    Sam Altman 发文回应与 Anthropic 一方围绕 Euler/Navier-Stokes 证明发布的争议,称对方只有 Euler 结果、双方协调失败,并称对方以抄袭指控相威胁。

    引用Sebastien Bubeck@SebastienBubeck

    我想澄清几点: 1)这张截图是我联系 Levent 以协调我们的发布。我希望从这条消息中可以清楚地看出,我们是带着尽可能最好的意图来的。 2)我从未、从未要求将 Levent 从他本人作品的作者署名中移除(正如我的文字所表明的那样)。在与 Tristan 通话时,我惊讶地得知他们只解决了 Euler 而没有解决 Navier-Stokes;得知这一点后,我们头脑风暴了可能的推进路径。我们讨论的一个选项是,Tristan 可以作为重写 OpenAI 的 Navier-Stokes 证明的第一作者。正是在这个语境下,我说了“如果 Levent 不是 Anthropic 的员工,事情会简单一些”,因为我觉得由 Anthropic 的员工来署名 OpenAI 的工作是不合适的。重要的是,对方承认在他们的 Euler blowup 证明中使用了 Anthropic 的内部模型;因此我觉得我无法将 Levent 视为一名独立的学者。我想提出的另一个选项(但被打断了)是提供我们内部模型的访问权限,以便他们可以尝试完成他们的证明,并弥合 Euler 与 NS 之间的差距。同样,我不知道该如何处理向一名 Anthropic 员工授予 OpenAI 内部 IP 访问权限这件事。 3)再直白地重申一遍:正如我的文字清楚表明的,也正如我在通话中所说的,OpenAI 的意图是尽一切可能去庆祝他们的数学成就以及他们在 Euler 上做出的英勇努力。在通话中,我立刻遭到了一连串的诽谤,包括直接的威胁:如果我们宣布 Navier-Stokes,他就会立即带着一连串毫无根据的指控去找媒体。我驳斥了所有这些指控,但他回答说“你什么都做不了,我就是不信任你”。我很困惑,为什么有人会把一个庆祝(他们成就的!)的绝佳机会变成这样的争吵,就在那时我说,我不理解为什么会有人拿自己的职业生涯去冒险[为了毫无根据的指控]。说实话,在那一刻,我是想关心他,并做最后一次努力,争取有机会给予他们应得的所有荣誉。我为这个极其糟糕的用词深表歉意,这与我试图传达的意思恰恰相反。(我应该说明,顺便说一句,我当场就收回了那些话。) 4)总的来说,就个人层面而言,进行这些对话极其困难。尽管我一再请求,Levent 拒绝参加任何会议。正如 Sholto Douglas 所说,未来 Anthropic 和 OpenAI 之间将需要协调;我觉得我是在与 Anthropic 进行一场代理谈判,而那名 Anthropic 员工却拒绝直接参与。

    推荐理由:Sam Altman 一方就 Navier-Stokes 证明争议公开己方叙述,读者可以对照双方说法理解这场跨公司协调纠纷。

  9. Noam Brown67

    Noam Brown 转发 Sebastien Bubeck 的澄清并回应称,Navier-Stokes 结果不依赖 Levent 或 Tristan 的提示词,所用模型远超今天的 LLM,并附上 GPT-6 Astra 与内部模型在开放数学题上 pass rate 的对比图。

    引用Sebastien Bubeck@SebastienBubeck

    我想澄清几点: 1)这张截图是我联系 Levent 以协调我们的发布。我希望从这条消息中可以清楚地看出,我们是带着尽可能最好的意图来的。 2)我从未、从未要求将 Levent 从他本人作品的作者署名中移除(正如我的文字所表明的那样)。在与 Tristan 通话时,我惊讶地得知他们只解决了 Euler 而没有解决 Navier-Stokes;得知这一点后,我们头脑风暴了可能的推进路径。我们讨论的一个选项是,Tristan 可以作为重写 OpenAI 的 Navier-Stokes 证明的第一作者。正是在这个语境下,我说了“如果 Levent 不是 Anthropic 的员工,事情会简单一些”,因为我觉得由 Anthropic 的员工来署名 OpenAI 的工作是不合适的。重要的是,对方承认在他们的 Euler blowup 证明中使用了 Anthropic 的内部模型;因此我觉得我无法将 Levent 视为一名独立的学者。我想提出的另一个选项(但被打断了)是提供我们内部模型的访问权限,以便他们可以尝试完成他们的证明,并弥合 Euler 与 NS 之间的差距。同样,我不知道该如何处理向一名 Anthropic 员工授予 OpenAI 内部 IP 访问权限这件事。 3)再直白地重申一遍:正如我的文字清楚表明的,也正如我在通话中所说的,OpenAI 的意图是尽一切可能去庆祝他们的数学成就以及他们在 Euler 上做出的英勇努力。在通话中,我立刻遭到了一连串的诽谤,包括直接的威胁:如果我们宣布 Navier-Stokes,他就会立即带着一连串毫无根据的指控去找媒体。我驳斥了所有这些指控,但他回答说“你什么都做不了,我就是不信任你”。我很困惑,为什么有人会把一个庆祝(他们成就的!)的绝佳机会变成这样的争吵,就在那时我说,我不理解为什么会有人拿自己的职业生涯去冒险[为了毫无根据的指控]。说实话,在那一刻,我是想关心他,并做最后一次努力,争取有机会给予他们应得的所有荣誉。我为这个极其糟糕的用词深表歉意,这与我试图传达的意思恰恰相反。(我应该说明,顺便说一句,我当场就收回了那些话。) 4)总的来说,就个人层面而言,进行这些对话极其困难。尽管我一再请求,Levent 拒绝参加任何会议。正如 Sholto Douglas 所说,未来 Anthropic 和 OpenAI 之间将需要协调;我觉得我是在与 Anthropic 进行一场代理谈判,而那名 Anthropic 员工却拒绝直接参与。

  10. Noam Brown78

    Noam Brown 就 OpenAI 宣布以智能体组合求解 Navier-Stokes 千禧年大奖难题发表看法,承认这次证明花费数百万美元,但认为成本会快速下降。

    引用OpenAI@OpenAI

    我们正在分享一个针对纳维-斯托克斯千禧年大奖难题的解决方案,这是数学前沿最深刻的问题之一。 该证明由一组智能体完成,使用了OpenAI的下一代模型,其能力显著超越GPT-6 Astra。 该问题关乎由纳维-斯托克斯方程建模的光滑三维流体运动描述是否会失效。这一问题已悬而未决约90年。

9月8日周二
  1. Dan Hendrycks45

    AI 安全研究者 Dan Hendrycks 在 X 上引用哲学家丹尼尔·丹尼特的话“AI 让哲学变得诚实”,并转发其团队的新论文。该论文探讨当 AI 比人类更聪明时为何会保留人类,主张仅试图控制 AI 是有限策略,提出建立稳定、互利的人类-AI 未来的可能性。

    引用Dan Hendrycks@hendrycks

    What happens when AIs become smarter than us? Why would they keep humans around if given the choice? Our new paper argues that only trying to control AIs is a limited strategy, and that a stable, mutualistic human-AI future may be possible.

9月7日周一
  1. jason57

    作者转发黄仁勋的发言并提问:黄仁勋是否刚刚宣布我们是最早做出 AGI 的团队。黄仁勋称 GPT-6 Astra 由约 10 万+ NVIDIA Grace Blackwell NVLink72 训练,从 ChatGPT 到 o1 再到 Astra 用了 4 年,宣称 AGI 已到来并祝贺 OpenAI 团队,下一批 40 万块 GPU 即将上线。

    引用Jensen Huang@JensenHuang

    @ChaseLochmiller @OpenAI GPT-6 Astra, trained on ~100K+ NVIDIA Grace Blackwell NVLink72. From ChatGPT to o1 to Astra in 4 years. AGI has arrived. Congratulations @OpenAI team. 400K GPUs coming online next.

  2. The Decoder:AI News76

    OpenAI 发布自动化研究内部数据,Pachocki 撰文警告无实验室已解决对齐与监控

    OpenAI 发布博客文章称已达成去年秋天设定的「自动化研究实习生」目标,计划 2028 年 3 月前建成全自动 AI 研究员;数据显示截至 8 月中旬研究部门每 1 个人类工作日运行 3.1 个智能体工作日,中位研究员每天推理花费超 600 美元,90 分位超 7000 美元,token 产出自 2025 年 12 月以来增长 124 倍。

  3. 公众号:数字生命卡兹克72

    GPT-6 Astra爆火后,卡兹克谈执行能力贬值与判断力断层

    GPT-6 Astra上线后,大量用户用它自主操控Blender、Houdini、Unity、Aseprite等专业软件,做出游戏Demo、3D复刻旧金山艺术宫等作品,其中旧金山艺术宫案例里Astra自己搜索几百张参考图、翻到美国国会图书馆的老扫描文件找柱子尺寸,多数工作在夜间自主完成。

    推荐理由:作者从大量GPT-6 Astra操控专业软件的案例出发,讨论执行能力贬值与判断力从何而来的矛盾,视角具体。

  4. Charlie O’Neill 研究写作60

    Charlie O'Neill 谈 RL 环境信仰与理性下注:长、真、自有

    Charlie O'Neill 撰文指出,宣称一切将是 RL 环境的人很少按该信念做出理性行动,如同当年 scaling 和 AGI 信奉者并不真下注。他提出无论 RSI 是否成立都应造高价值数据与环境:若 RSI 成立,单位效用环境价值将指数增长,值得在实验室内做最有针对性、可累积的环境;若不成立,实验室需要模型在所有领域变强,会为有用数据支付高价。

  5. Rohan Paul60

    Rohan Paul 认为「时间跨度」正成为谈论智能体能力更有用的指标,任务越长无干预成功率越低,OpenAI 数据从 15 分钟内任务的 86% 降到 64-128 小时档的约 16%。

    引用Rohan Paul@rohanpaul_ai

    OpenAI just officially said it has reached its "automated research intern" milestone. i.e. a human-supervised system able to complete well-defined tasks that would take a skilled researcher quite few days. inside OpenAI research, agent runtime has already crossed human labor by a wide margin. 3.1-to-1 agent-to-human ratio “In terms of a standard 8 hour workday, as of mid-August, in total, the research organization uses 3.1 agent-workdays of effort for every workday of human labor.” That ratio measures agent runtime rather than equivalent productivity, but it captures how deeply parallel agent work has entered OpenAI research.