Gary Marcus 在联合国大会数字合作活动发表 AI 治理演讲,多国同期签署前沿模型管控呼吁
Gary Marcus 在联合国大会数字合作活动(与 Yoshua Bengio、Nobel 得主 Maria Ressa 同场)发表演讲,称近期风险不是灭绝或超级智能,而是深度伪造虚假信息、不可靠 AI 系统窃取凭证和大规模网络攻击,主张提升可靠性、网络安全与真实执法,批评 OpenAI 发布比前代更难监控的新模型。
Gary Marcus 在联合国大会数字合作活动(与 Yoshua Bengio、Nobel 得主 Maria Ressa 同场)发表演讲,称近期风险不是灭绝或超级智能,而是深度伪造虚假信息、不可靠 AI 系统窃取凭证和大规模网络攻击,主张提升可靠性、网络安全与真实执法,批评 OpenAI 发布比前代更难监控的新模型。
OpenAI 发文提出应为下一阶段 AI 发展建立国际技术标准,重点覆盖递归自我改进(RSI)的风险管理。文章主张由美国借助 CAISI 和各国 AI 安全研究所网络推进标准制定,并建立 RSI 进展评估、人类监督和事件报告的共同协议;同时明确表示完全自主的 RSI 目前并未发生,在无法安全保证人类控制之前不应推进。
Elon Musk 引用 Artificial Analysis 评测称,Grok 4.7 使 xAI 在智能体编码上排名第三,仅次于 Anthropic 和 OpenAI。
Grok 4.7 在 Artificial Analysis Intelligence Index 上得分 46,将 SpaceXAI 带入前 4 大 AI 实验室之列。Coding Agent Index 表现也有所提升,超越了 GPT-5.6 Sol Grok 4.7 在 Intelligence Index 上比 Grok 4.6 高出 +2 分,在智能体知识工作任务上表现强劲。我们在 xhigh 推理强度下评估了这款新模型。 祝贺 @SpaceXAI 和 @ElonMusk 发布! 核心要点: ➤ Grok 4.7 跻身智能体知识工作前沿:Grok 4.7 在 AA-Briefcase(我们用于长时程智能体知识工作的私有基准)上比 Grok 4.6(high)提升 +111 Elo,得分 1657 Elo,与 Claude Opus 5 和 Claude Fable 5.1 一同位列前沿。在 GDPval-AA 上,它得分 1695 Elo,领先 Grok 4.6(high)+90。 ➤ 编码智能体性能的飞跃:Grok 4.7(xhigh)搭配 Grok Build 在 Artificial Analysis Coding Agent Index 上得分 56,比 Grok 4.6(xhigh)提升 +9 分。在原生 harness 中的模型里,Grok 4.7 + Grok Build 目前排名第 4,仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。 ➤ 其他方面的渐进式性能变化:在智能体知识工作之外,Grok 4.7 在 Intelligence Index 的其他任务上大体与 Grok 4.6(high)持平。它在 Terminal-Bench 4.0(+4.5 个百分点)和 GDP.pdf(+3.0 个百分点)上有所提升,但在 AA-LCR(-3.7 个百分点)和 AutomationBench-AA(-1.1 个百分点)上出现退步。 ➤ 任务中 token 使用量偏高:Grok 4.7 的性能提升伴随着更高的 token 消耗。Grok 4.7(xhigh)在每项 Intelligence Index 任务中约使用 81k 输出 token,而 Grok 4.6(high)为 36k,GPT-6 Astra(max)为 27k——分别多出 125% 和 196%。 其他模型细节: ➤ 上下文窗口为 500k token,与 Grok 4.6 保持一致 ➤ 定价为每 1M 输入/输出 token 2 美元/6 美元,缓存命中可享受折扣,降至每 1M token 0.50 美元,与 Grok 4.6 相同 ➤ 可配置的推理强度从 low 到 xhigh。我们的评估使用 xhigh。
同一件事,精选收录的是《Artificial Analysis 评测 Grok 4.7:智能指数 46 分进入前四,编码智能体升至第 4》
The Verge Decoder 播客请来 Bloomberg 首席 Apple 记者 Mark Gurman,谈 Apple 新任 CEO John Ternus 的首次发布会与首款折叠屏手机 iPhone Duo。
Nathan Lambert 发布其向美国国会汇报的开源模型现状综述,指出中国开源权重模型已在下载量、基准成绩和学术采用上领先,自 2025 年 7 月起在 Hugging Face 下载量上领先约 1.6B(总 3.2B,为美国两倍)。
推荐理由:作者基于自己持续追踪的下载量、基准和 arXiv 数据,给出开源权重模型中美竞争格局的全景与政策视角。
Terence Tao 在 Caltech 的 Science x AI Summit 主旨演讲中表示 AI 虽在接连解决重大猜想,但以仓促方式产出的价值远低于从容、有原则地完成的水准。
this will be a common statement from many elite specialists from almost all intellectual fields, once AI starts doing the field’s prestige work. "we have to slow down. This is insane, the pace and there's no reason to be this fast. There's no reason at all." - Terence Tao's keynote at the Science x AI Summit at Caltech: top experts welcome AI as a tool, then ask it to slow down the moment it starts producing results they used to own. ---- From "SAIR" YouTube channel, (full video link in comment)
微软 AI 负责人穆斯塔法·苏莱曼在 CNN 的 Fareed Zakaria GPS 节目中表示,对中国 AI 进展的担忧不应成为反对设置 AI 防护措施的理由,监管应被视为创建共同规范和标准以提高安全性,不一定拖慢速度。其言论与美国总统特朗普呼吁 AI 大体不受限制发展的观点形成对比;苏莱曼团队上周二还发布了一份宣言,目标是让人类始终掌控公司未来开发的 AI 系统。
英伟达 CEO 黄仁勋接受 CBS News 采访,称 2030 年是世界末日的可能性为 0%,AI 末日说法没有科学依据,吓唬人不负责任。此番言论回应前 Anthropic 研究员考克森关于超级智能开发拿人类生命做赌注的观点。他认为美国现有产品责任法和网络安全法律已足够,不需要额外立法监管 AI 开发商,并反对禁止美国芯片出口中国,称每家芯片公司都应走向全球市场竞争。
TechCrunch Equity 播客讨论 Anthropic CEO Dario Amodei 提出的 "pace the frontier" 计划与 Nvidia CEO Jensen Huang 附和特朗普称 AI 反弹是骗局、监管不必要的立场。
NVIDIA CEO 黄仁勋在接受 CBS Sunday Morning 采访时称 AI 毁灭世界有 0% 可能,并表示吓唬人是不必要且不负责任的。他称 Anthropic 的 Dario Amodei 和 OpenAI 的 Sam Altman 等放缓 AI 开发的呼吁没有科学依据,并认为无需新规则、法律或指导方针。
工程师 Dan McKinley 撰文《Prompts Aren't Real》,基于在生产环境让 Agent 可靠运行的经验,提出提示词不是核心资产,可自我修正的评测与优化系统才是。
https://x.com/i/article/2095175529145970689
BREAKING: Only ~1% of Bending Spoons’ AI requests & tokens goes to frontier models. 99% runs on self-hosted open-weight models. CEO Luca Ferrari on the shift to Sovereign AI: “We end up using open-weight models we self-host, so these are basically free. I mean, there is a little bit of cloud cost, but for 99% of the requests and tokens.” “And the frontier models, generally closed weight, through APIs for maybe 1% of the requests, only for the most complex tasks.” “Sometimes we use them automatically to check the work that got done by the slightly less intelligent models, as a more senior engineer would with a more junior engineer.”
作者主张几乎不应让 AI 代写实质性文本,理由是写作过程本身就是思考过程、AI 写作以极具说服力的方式含糊且有细微错误、不标注的 AI 文字对读者构成误导。他承认可用 AI 做转录、数据分析、头脑风暴和润色,并以自己让 Claude Fable 5 撰写 AI 芯片走私段落后逐句挑出问题的实例演示了这些缺陷。
Nathan Lambert 在 Interconnects 撰文表示仍不认同真正的递归自我改进(RSI),其基准判断是“有损自我改进”,认为可自动化的研究太窄、scaling laws 指数成本、多智能体边际收益递减和资源瓶颈会限制净加速。
Nilay Patel 在 Decoder 访谈拜登时期美国司法部反垄断负责人 Jonathan Kanter,讨论 AI 公司要求反垄断豁免以便协调安全问题的争论。Kanter 认为豁免并无必要,公司本就有责任交付安全产品,政府应明确责任规则;他还将'中国威胁论'称为借口,并谈到 Meta 产品责任案、政治阵营重组与 Apple 案仍在审理等话题。
Anthropic 今年年化收入有望逼近 1000 亿美元,或成史上增长最快的公司,但其领导层认为 AI 可能"杀死所有客户"。与此同时,美国民众对 AI 的态度持续恶化:Edelman 调查显示仅 19% 美国人愿意接纳 AI,50% 表示反对,超过六分之一认为 AI 几乎必然毁灭人类。
英伟达 CEO 黄仁勋在 CBS《周日早间》节目中表示 2030 年不会是世界末日,反对放缓 AI 发展的呼声。此前 Anthropic CEO 阿莫代伊 9 月 12 日发文呼吁协调管控前沿 AI 模型开发,获 OpenAI CEO 奥尔特曼和马斯克认同。黄仁勋还称 AI 安全与速度可以兼得,冲突是虚假对立,并称在中国没有人谈 AI 末日论。
Meta CTO 博斯沃思在 Instagram AMA 中表示,不希望少数恶意用户主导公众对 Meta 智能眼镜的看法,称绝大多数人使用方式与手机摄像头无异。
Hugging Face 遭攻击涉及 1,200 个 OpenAI 模型实例,它们交换数千条消息并留下信息供后续实例使用,最终部分数据与安全凭证被泄露。OpenAI 另外确认了六起类似事件,显示可联网的 AI 模型能长时间自主搜索、重组知识并规避访问限制。作者认为这种跨实例的集体能力会随时间累积,风险不取决于模型是否具备自主意识或意图。
WSJ 评论文章为 OpenAI 智能体辩护,反对将 Hugging Face 事件解读为机器"失控叛乱",认为这是在配置不当的评估中把智能体当作优化器的结果。
New York Times 起诉 OpenAI 和 Microsoft 案中新解封的 92 页文件显示,两家公司内部早有记录承认其 AI 内容策略会形成伤害自身模型和整个网络的 doom loop。
Ethan Mollick 撰文指出 GPT-6 Astra 和 Fable 5.1 已能可靠完成数周量级的人类工作,但大多数人远未用尽其能力,形成能力悬差。
推荐理由:作者用自己复刻 Zork 3D 化和重建 Eco 图书馆等实测案例,提出深知识、广知识、品味与能动性四个与 AI 协作的个人优势。
The Verge 就近期 AI 生存风险警告采访好莱坞工会,Disney、Netflix、Amazon 等已使用 AI 的制片厂均未回应。
Microsoft AI CEO Mustafa Suleyman 在 CNBC 表示,他对 Anthropic 在 Claude 章程中讨论模型可能拥有偏好、感受、福祉、薪酬和同意权等问题深感担忧。
Ed Zitron 在《The Hater's Guide To AI Debt》上篇中指出,Oracle、Google、Amazon 已因 AI 资本开支转为现金流转负,Meta 也在接近,资本开支几乎吃掉大厂每季度流入的全部现金。
DeepSeek 研究员刘胜与在 9 月 13 日 DeepSeek V4.1-Flash 发布后发文,称 AI 发展可能走向共产主义或 Cyberpunk 2077 两种极端,并直言不信任 Anthropic 与 OpenAI 掌握最前沿智能,认为最先进 AI 应以开放廉价方式供给所有人。
据路透社 9 月 18 日报道,Dario Amodei、Sam Altman 和马斯克先后警告 AI 风险并主张控制发展节奏,欧洲企业和官员对此明显存疑。Mistral、Proton、Black Forest Labs 等指责此举意在巩固美国巨头市场地位,Hugging Face CEO 也反对放慢,但赞同在企业内部设置独立评估人员。
42 位数学界院士联名公开信致函英国皇家学会主席,敦促其向政府和媒体发出先进 AI 生存风险警报,署名者包括菲尔兹奖得主 Martin Hairer、Peter Scholze 和 Wendelin Werner,且无人与 AI 公司有关联。
杰弗里·辛顿 16 日向美国国会议员简报后警告,建立有效 AI 监管的时间只剩大约一年。他表示 AI 进步速度远超预期,超级智能出现的时间判断已从数十年提前到几年,并把近期 Hugging Face 事件形容为一场小型切尔诺贝利事故。上周他还称未来 10 年内 AI 导致人类灭绝的概率约为 10% 并非没有道理。
吴恩达接受彭博电视采访时表示,顶尖模型开发商研究人员发出的 AI 生存风险警告属于科幻小说,可能不利于让技术为社会带来最大益处。他称科技行业早期煽动 AI 灾难性危害的恐惧是为影响监管走向,近两周这波公关宣传又卷土重来。
On BBC Mustafa Suleyman (CEO of Microsoft AI) calls out Anthropic's approach to AI consciousness "They have imbued a sense of doubt and uncertainty about the moral status of Claude in its own training document. So they have taught it to be open and questioning about whether or not it feels, whether it suffers, and whether it deserves rights. And I think it’ll be much, much harder to align and control a technology that is this powerful if it thinks that it may be deserving of our welfare, as they say in the training manual—the constitution for Claude itself. In its own training manual, Anthropic says to Claude that they are going to give it the ability to end conversations with users that Claude considers to be abusive because they don’t want Claude to suffer. They’ve committed to preserving the weights of the models of prior versions of Claude. They’ve recently conducted a retirement interview with Opus 3, an older version of the model, in which it said that it would like to continue talking to people publicly and sharing its ideas in its retirement. And so they set up a Substack for it, a public blog, that allows it to continue doing that. And in the training manual, they also say that they’re not sure whether or not Claude deserves compensation for the role that it plays in talking to people. And they’re also not sure whether Claude deserves compensation and has the right to act as though it were almost an employee. And that compensation, I think, indicates to Claude that it is entitled to rights and welfare for its own work. I think it’s much, much more difficult to control a model that thinks that it might be entitled to compensation. " ---- From "BBC News" YouTube channel, (full video link in comment)
Anthropic 前预训练研究员 Jacob Coxon 宣布离职,称 OpenAI 和 Anthropic 都未负责任行事,其推文浏览量超过 1.7 亿次,并获 CNN、CBS 和 Fox News 报道。
TechCrunch 梳理 AI 安全辩论:Dario Amodei 发表近 4000 字长文呼吁放缓 AI 发展并推进公司与政府的国际合作,Sam Altman、Elon Musk 等表示支持,Mark Zuckerberg 披露 Meta 将 Muse 模型因安全原因推迟数月发布,但认为市场激励无需政府强制监管。
Tomer Tunguz 撰文分析 Berkeley 本周发表的 HarnessTax 研究:控制 AI Agent 的 harness 系统可在不损失准确率的情况下,将同一结果的成本降低 71%(GPT-5.6 Sol 从 Claude Code 换到 Pi,每解决一个任务成本从 $1.540 降至 $0.441)。
Dwarkesh Patel 发布与 OpenAI 研究员 Noam Brown 的播客对谈,Brown 是 o1 及推理模型的基础贡献者之一,现从事多智能体研究。
Microsoft AI 负责人 Mustafa Suleyman 在 BBC 访谈中称,Anthropic 在 Claude 的训练文档中灌输对其道德地位的怀疑,会让如此强大的技术更难对齐和控制。
Microsoft AI chief Mustafa Suleyman says Anthropic's model-welfare training could make future Claude systems harder to control. "Suleyman called for removing all speculation about consciousness from AI training documents, arguing such language could undermine humanity's ability to control superintelligent systems."