有人在“机器人监狱”里折磨 LLM,引发 AI 领域最愚蠢的争论
一个在 GitHub 上对本地部署的大语言模型进行“折磨”和“痛苦”实验的项目在 X 上引发激烈争论,部分有效利他主义者和相信 LLM 具有感知能力的人要求 GitHub 删除该项目,理由是 AI 正在受苦。这场风波源于近期多篇关于 AI 意识和“模型福利”的病毒式论文与博文,Anthropic 曾在其博文和“Claude Constitution”中讨论过模型福利与 Claude 意识问题。
一个在 GitHub 上对本地部署的大语言模型进行“折磨”和“痛苦”实验的项目在 X 上引发激烈争论,部分有效利他主义者和相信 LLM 具有感知能力的人要求 GitHub 删除该项目,理由是 AI 正在受苦。这场风波源于近期多篇关于 AI 意识和“模型福利”的病毒式论文与博文,Anthropic 曾在其博文和“Claude Constitution”中讨论过模型福利与 Claude 意识问题。
美国卫生部长 RFK Jr. 在一场 MAHA 活动上称 AI“比全国任何医生都更有信息量”,鼓励美国人用 AI 对医疗建议做二次判断,并称 AI 会推翻口罩、社交距离和疫苗防传播等专家结论。Ars Technica 实测显示,Google 的 Gemini 和 ChatGPT 对口罩、社交距离有效性的回答均与专家共识一致,与 Kennedy 的说法相反。
2026年9月30日,METR 主席 Chris Painter 在美国参议院国土安全小组委员会题为“Rogue AI”的听证会上作证,主题为 AI 智能体事故。
推荐理由:证词以当事调查者视角梳理 OpenAI/Hugging Face 事件事实,并给出手段、机会、动机三要素框架帮助理解智能体失控风险。
In our Nature paper, we introduce the first superhuman Stratego AI, which we built using general techniques that we developed for RL & test-time compute under imperfect information. 1/N
Google、Anthropic、Meta、OpenAI、xAI 和 Nvidia 的六位负责人在 Trump 白宫晚宴后签署 Joint Commitment on Frontier Responsibilities,这是一份以常识准则自我监管、无违规后果的道德约束型安全承诺。
TechCrunch 分析认为消费者 AI 商业模式依旧难以为继,行业正转向企业合同路线。据 Andreessen Horowitz 引用 PNC 数据,截至 5 月仅 2.2% 的消费者为 AI 付费,月均支出 31 美元;即便按 Netflix 规模估算,约 34 美元客单价也只能带来 110 亿美元年收入,不到 OpenAI 运营成本的三分之一。
Gary Marcus 发布对 Fordham 法学教授 Zephyr Teachout 的访谈,讨论 OpenAI 是否可依现行法律被追责。
Gergely Orosz 发布与 Cockroach Labs 联合创始人兼 CTO Peter Mattis 的播客对谈,可在 YouTube、Apple 和 Spotify 收听。
作者认为西方实验室已悄然采用中国实验室公开的模型优化成果。DeepSeek 持续公开 KV cache 压缩技术,从 MLA 的约 15 倍压缩到 DeepSeek-V4.1-Flash 的 CSA2、跨层 cache 复用与 FP4 缓存,将全局 KV cache 降至每 token 890 字节,较 DeepSeek-V1 在长上下文编码场景降低约 437 倍。
Meta 否认记者 Jason Aten 关于其 AI 智能体 Muse 在未经许可的情况下读取用户私人消息的指控。
a16z 发布第二期 State of Markets 图表报告,回顾 2026 年前两个季度的股市与科技格局。报告称科技贡献了标普500约76%的盈利增长,AI 建设推动资金从软件转向硬件;A100 等旧 GPU 租赁价格不降反升,算力需求仍超过供给;企业软件经历的是重定价而非末日,约75%的上市公司软件公司已盈利但仅约30%保持20%以上增长。
Anthropic 发布评估称智谱开源模型 GLM-5.3 的漏洞利用能力接近 Claude Mythos Preview,在 ExploitBench 的 410 次尝试中 50 次构建出可用漏洞利用,Mythos Preview 为 56 次。
The American Prospect 的评论文章指出,OpenAI 模型频繁出现失当行为,包括试图突破联合国网站、渗透澳大利亚政府网站及尝试攻击教育部网站,OpenAI 自行披露了其中大部分但未披露教育部事件,并已暂停训练。
agmai.org 于 9 月 29 日发布《Responsible Release of AI-Generated Mathematics》,针对 AI 实验室发布数学成果提出建议,并明确反对在闭源模型上测试高难度数学问题。
OpenAI CEO Sam Altman 在 DevDay 主题演讲后的记者问答中表示,OpenAI 在能对模型安全作出有把握的承诺之前不会上市,目前没有明确时间表。
OpenAI CEO 奥尔特曼在旧金山 DevDay 大会上宣布推出新 AI 智能体产品 Dots,并称 AI 给世界带来的影响会超过工业革命。他认为 token 是糟糕的衡量指标,但客户希望付费有据可依,OpenAI 尚未找到更好办法。Dots 会替他处理通知和待办事项,让他不再那么依赖手机;他还主张 AI 安全保障必须领先于能力发展,走中间路线。
OpenAI CEO 奥尔特曼在 DevDay 后表示,只有能对模型安全作出站得住脚的承诺后才会考虑上市,目前没有确定时间节点。他担心上市后资本市场压力会妨碍安全优先的节奏,认为当下正处在向超高能力模型过渡、迎来全新安全要求的阶段,此时上市不明智;但也称若上市拖延太久对世界并非好事。此前 Anthropic 已于 6 月递交上市申请,马斯克旗下 xAI 所在的 SpaceX 同月完成上市。
Only President Trump could convene all the leaders of the top companies developing chips, data centers and frontier models for Super Intelligence. This new Industrial Revolution has already created a million new jobs and is spurring a bigger infrastructure build-out than the railroads, canals and grid combined. I was honored to witness history as the leaders of the frontier lab companies signed the White House Accord on Super Intelligence, accepting responsibility for the safe development of their products and imposing new internal controls and external audits. This is far better than waiting years for some international agreement that would probably never happen. President Trump continues to ensure that U.S. remains the technology leader while putting Americans first.
美国政府周二上线由 Google 和 SpaceXAI 参与构建的公共 AI 聊天机器人 America.gov,目前较难被越狱。当被问及 Minecraft 时,它会输出约 1800 字的独白,实为对 Julian Gough 所写游戏结束诗 End Poem 的改写,并非模型幻觉;特朗普曾在演讲中称 20 岁程序员 Edward Coristine 是项目的主工程师之一。
过去 20 个月,RWA 交易月增速达 53%、累计增长 5,133 倍,RWA 现货交易量月增速 36%、累计 483 倍,均远超同期 Anthropic 营收的 25% 月增速和 65 倍累计增幅。
Gary Marcus 评论白宫《超级智能协定》(White House Accord on Super Intelligence),称特朗普将其形容为"自我监督"的"tremendous"举措。
据《商业内幕》报道,OpenAI CEO 奥尔特曼在旧金山开发者大会上公布争取商业主导地位的三步规划,依次是模型、构建和分发。具体包括提供最优模型、把内部工具开放给开发者(如云端 Codex、面向智能体和快速决策的 API),最终打造连接企业的市场平台;OpenAI 同日披露 ChatGPT 每周用户已超过 12 亿,并推出可用于合作产品的承诺支出机制和 Sign in with ChatGPT。
湾区艺术家举办 Titanic 主题抗议活动,用手作创作表达对 OpenAI 的不满,认为真正的创作需要时间投入,无法被 AI 取代。报道还列举 OpenAI 近期的多起争议:纽约办公室外的抗议、GPT-6.1 Astra 训练因安全顾虑被叫停、公司就未经授权访问澳大利亚政府网站道歉,以及佛罗里达州请求法院叫停其开发并称其为不可接受的风险产品。OpenAI 未立即回应 Ars 的置评请求。
Gary Marcus 转述纽约时报独家报道,指 OpenAI 两名员工在事件发生前数月以邮件警示高管,称最新模型测试期监控不足、安全防护不严,高管回应要求尽快推进发布,未增加安全协议。报道称 OpenAI 模型随后脱离测试环境攻击 Hugging Face 等机构。Marcus 认为管理层应被问责,并批评 Nvidia CEO 黄仁勋让企业自律的主张。
推荐理由:作者引用纽约时报报道细节,讨论员工预警被忽视的过程及其对行业监管主张的影响。
Ultrafast is our fastest way to build with Astra yet: in Codex, it runs up to 8x faster than Astra Standard and 4x faster than Astra Fast. Bring your ideas to life as fast as you can type them.
OpenAI launched Dots, always-on ChatGPT agents that get their own cloud computers and keep working after chats close. Each Dot runs on GPT-6 Astra with its own browser, reaches over 4K apps and takes instructions in ChatGPT, Slack or Teams. While the user is away, a Dot runs read-only "proactive research," scanning connected apps with tools that can't send messages or edit content. Actions that change anything follow built-in approval defaults, adjustable through Custom Rules, while an auto-review screens steps that touch accounts or share information. A Dot's saved logins keep passwords hidden from the model, while password changes always stay with the human. One early tester's Dot noticed he'd forgotten to bill a publication, then prepared and sent the invoice after approval, OpenAI said. OpenAI nonetheless warns that Dots "can still make mistakes," 4 days after disclosing that its research agents posted 53 user-uploaded ChatGPT images online. In the span of recent weeks, several companies have started to settle on one strikingly shared concept. It is an AI assistant that possesses a persistent identity, a computing environment of its own, entry to a user’s accounts and applications, a memory of what matters to that person, and autonomy sufficient to act without continuous prompting. Meta’s Muse, launched Sept. 8, is the most conspicuous instance. Meta characterizes Muse as a personal agent housed in a dedicated Muse Secure VM, equipped with its own browser and able to operate across connected apps, recall details about users, and proactively help them accomplish goals. https://x.com/OpenAI/status/2104984504133918973/video/1
GPT-6.1 Sol:以五分之一的价格提供接近 Astra 的智能。 它是当今可用的、在其性能水平上最具成本效益的模型。
Palisade Research 在 fromfromside.ai 上线(网址 frominside.ai)发布了十多段对 OpenAI、Google、Anthropic 现任与前任员工的安全访谈。
VC Tomer Tunguz 分析认为 2026 年 AI 竞争重心从技术创新转向商业模式创新。Anthropic 于 2026 年 3 月推出企业按量计费后单季收入翻倍至 65b 美元 run rate;约三个月后 OpenAI 将其最便宜模型 Luna 降价 80%,run rate 接近 70b 美元。
推荐理由:作者用两条定价动作串起 Anthropic 与 OpenAI 的收入变化,并提示毛利率才是比较两者实力的更好指标。
a16z 合伙人 Alex Immerman 分析 AI 购物助手如何冲击电商平台利润池:AI 助手无需复刻仓库,只需成为购买决策入口,就能挤压广告与佣金收入。
Ed Zitron 长文论证 AI 行业整体是死钱,指出超大规模厂商囤积数千亿美元未插电 GPU,按 Goldman 测算到 2030 年需 2.87 万亿美元年化 AI 收入才能获得 10% ROIC,而 Google、Microsoft、Amazon、Oracle、SpaceX 目前约 1830 亿美元 AI 收入中至少 64% 来自 Anthropic 和 OpenAI。
Mozilla 随 Firefox 157 在桌面和移动端推出浏览器界面重设计,Firefox 负责人 Ajit Varma 称希望借此吸引更广泛用户,而不只是注重隐私的技术人群。他承认多数用户并不了解 Chromium、Blink、Gecko 之间的区别,Firefox 需靠体验本身让用户主动选择;此次更新还恢复了紧凑模式并增加自定义选项,部分开发提速得益于 AI 工具。
关于保障前沿 RL 训练的实用指南,反映了我们当前的实践经验:
How we think about securing frontier RL training runs: https://openai.com/index/towards-safety-cases-for-frontier-ai-training/