跳到正文
只看观点
9月29日周二
  1. Greg Brockman50

    OpenAI 发布关于保障前沿 RL 训练运行安全的安全案例文章，Greg Brockman 转发并称这些最佳实践反映了其当前在 securing frontier RL training 方面的经验。文中提出安全案例应覆盖技术栈三方面：对齐训练、遏制与监控，确保模型不采取失控行为、即使发生也难以突破遏制且监控能在危害前发现。对齐层面包括自动与人工数据集审查、调整 grader 惩罚模型利用 RL 环境漏洞的行为、对既往实验轨迹运行分类器验证 grader，以及通过评估追踪模型错位倾向来衡量对齐训练效果。文章链接：https://openai.com/index/towards-safety-cases-for-frontier-ai-training/

    引用OpenAI@OpenAI

    How we think about securing frontier RL training runs: https://openai.com/index/towards-safety-cases-for-frontier-ai-training/

  3. TypeSafe AI49

    Jev 不好用？它是为可组合性而生的！ 需要更多 Jev！

    引用Zhaorun Chen@zrrrr_cn

    Jev is fast at helping you. Turns out, it can also be fast at helping an attacker!! 😱🚨 We red-teamed Jev 1.13 on our DTap (DecodingTrust-Agent Platform) and found a serious safety gap: 70.1% ASR under direct misuse 43.5% ASR under indirect prompt injection In our evaluations, we found that under indirect prompt injection, Jev can follow attacker-injected instructions without blinking an eye, e.g., exfiltrating user data, deleting files, or taking other harmful actions. But we found a much safer way to integrate Jev: use it as a self-gating layer for its own tool calls, significantly reducing ASR while preserving most of its utility. 👇 Read more below

  5. IT之家·人工智能57

    黄仁勋回应 AI 模型蒸馏争议：这是市场竞争行为

    英伟达 CEO 黄仁勋在 CNBC《财经早间》节目上表示，利用其他模型输出训练新模型的蒸馏属于市场竞争，与美财政部长贝森特 7 月称其为“盗窃”的定性相反。他以竞品拆解英伟达产品为例，称竞争会让一切更好。此前 CISA 指责中国 AI 企业开展“工业规模知识蒸馏”，Anthropic 称发现阿里巴巴和 DeepSeek 存在“非法蒸馏”行为，中方已驳斥相关指控。

  6. IT之家·人工智能46

    哈佛大学心理学家平克：渲染“AI 末日”无助于应对风险，应审慎开展安全工程

    哈佛大学心理学家史蒂文·平克在 Quillette 发表致科技博主斯科特·亚历山大的公开信，认为 AI 毁灭人类的风险被夸大，并拒绝就 AI 生存风险与其公开辩论。他真正重视的风险是生物恐怖主义、网络攻击以及缺乏约束的 AI 智能体，主张以独立监督、责任机制和人类控制为基础开展审慎的安全工程。平克也承认自己低估了大语言模型最终能具备的能力，以及 AI 公司发布产品时的鲁莽。

  8. IT之家·人工智能61

    美国北查塔姆免费图书馆推出“再见，AI”活动教居民关闭设备上的 AI 功能，传单在 Facebook 走红

    美国纽约州北查塔姆免费图书馆将为居民举办“再见，AI”活动，帮助关闭手机和电脑中的 AI 功能，相关传单在 Facebook 收获超过 8000 个赞和 200 多条评论。活动由全职馆员希娅·韦尔特制作传单，灵感来自图书馆员汉娜·赛勒斯开设的关闭 AI 工具课程，Gmail 自动回复和自动补全是最常被抱怨的功能，寻求帮助的主要是老年人。

  13. The Verge：AI44

    OpenAI 的 AI 智能体为何落后了

    OpenAI 在持续运行的消费级 AI 智能体赛道落后于 Meta、Google 等对手，2026 DevDay 上可能发布代号 Aeon 的智能体。Meta 的 Muse 本月上线后登顶 App Store，在美国日活达 60 万；Google 的 Gemini Spark 已接入 Dropbox、Uber、Spotify 等 30 多个外部服务。

  16. TypeSafe AI41

    我们的座右铭背后有很多含义：Building Prod, Not God。 这项技术将改变世界，但这要靠勤勉的努力和创造力来实现，而不是靠故弄玄虚的诉求。 @a16z 与 @CompleteSkeptic 深入探讨了这一理念以及更多内容。

    引用a16z@a16z

    TypeSafe AI's Diogo Almeida with a16z's Ben Horowitz and Martin Casado on Jev, the model built to live inside software: Diogo's elevator pitch for Jev is a simple question - where is all the automation? AI is unbelievably smart, but outside of chatbots and coding agents, it hardly touches any real work. His diagnosis is the industry built models that generate text for humans to read, and software can't consume that output. Jev reads natural language and returns a choice from a set of options with a confidence level assigned to each, so developers can build programs that reason about intent and make probabilistic decisions rather than relying on human interpretation. TypeSafe's philosophy is "We build prod, not God." 0:50 "Where the f**k is all the automation?" 2:50 Jev vs. Claude Code and Codex 6:55 Jev is a classifier and classifiers are sick 7:40 Chat vs. code: is Jev a slider? 9:00 Diogo: From mathlete to Kaggle to OpenAI 12:20 "We build prod, not God" 15:55 Reliability over demos 16:55 2021 thoughts: RLHF is AGI? 20:45 Optimizing for the wrong use case 21:50 Is the real world too messy to automate? 25:00 Nobody expected the Jev launch 26:35 Three kinds of reliability 28:05 Good at syntax, bad at architecture 30:00 The inverse SaaSpocalypse 33:40 Why coding agents automate so little 36:05 Probabilistic programming returns 38:45 Jev as the UDP-to-TCP layer for AI 40:20 The 5 stages of grief for embedding AI 41:30 Utopia: AI that actually does what you mean YouTube: https://youtu.be/Ut3LOjKNJaE @CompleteSkeptic @typesafeai @bhorowitz @martin_casado

  17. Hacker News：AI 热帖48

    AI 写代码不是问题，没人懂系统架构和意图才是

    有开发者指出，AI 生成的代码或许只是平均水平，真正的危机是团队里没人再了解系统架构和当初的设计意图，所有人遇到问题只会去问 Claude。有工程师描述在大公司任职半个月的见闻：规格、代码、测试、PRD、工单乃至报告全部由 Claude Code 生成，从 L1 到 L7 的工程师都在做同一件事——和 Claude 对话，没人读代码，也没人真正在思考。

9月28日周一
  1. François Chollet44

    Francois Chollet 表示自己如今不再读写代码，只通过 LRM 下指令，但这并非因为 LRM 代码质量已完美甚至够好。他认为 LRM 能解锁测试代码库、审计组件、生成可视化、红队测试等新工作流，速度远超以往，这些方式能达到与阅读代码相当的理解效果。因此手写代码的 ROI 已不再划算，原因不是 LRM 变完美，而是其速度足以支撑更高效的新工作流。

  6. The Decoder：AI News45

    Redwood首席科学家称AI失控风险超50%，归咎于行业军备竞赛

    Redwood Research首席科学家Ryan Greenblatt指出，若当前发展路径不变，AI接管的风险高达50%至60%。他批评Anthropic和OpenAI等实验室的“负责任”姿态实则是维持军备竞赛的动力，并呼吁达成国际协议。Sam Harris对此表示质疑，认为参照曼哈顿计划经验，10%的风险率就足以让业界停止推进。

  7. AI as Normal Technology49

    普林斯顿学者：AI 灭绝风险概率估算不可靠，不应作为政策依据

    Arvind Narayanan 等学者重发文章指出，当前关于 AI 存在性风险（p(doom)）的概率估算缺乏严谨的方法论支持，主要依赖直觉而非验证模型。由于不存在历史参照类，归纳法失效；演绎法和主观估算法也面临假设争议。作者认为这些数字具有误导性，尤其当决策者据此制定限制开源模型等高成本政策时，缺乏正当性基础。他们主张区分学术预测与公共政策应用，并呼吁建立更广泛的“大帐篷”式 AI 安全运动，而非仅聚焦于超级智能带来的灭绝风险。

  8. IT之家·人工智能45

    黄仁勋反驳辛顿AI末日论：预测无科学依据且引发恐慌

    英伟达CEO黄仁勋近日公开驳斥“AI教父”杰弗里·辛顿关于AI失控可能导致社会崩溃的言论。辛顿曾提出AI有10%-20%概率威胁人类生存，黄仁勋认为该预测缺乏科学论据，属于不负责任的危言耸听。他担忧此类言论会加剧公众恐慌，导致年轻人对就业前景悲观甚至放弃升学，呼吁业界以客观理性态度讨论AI风险。

  12. IT之家·人工智能55

    微软CEO纳德拉分享智能体使用心得：强调追问与因果推理而非盲目信任

    微软CEO萨提亚·纳德拉在播客中披露其日常使用Cowork和Excel智能体的方式。他利用这些工具追踪SEC文件、分析电子表格及评估资本回报率（ROIC）。纳德拉指出两项关键进展：一是智能体能通过“操作、追问、继续推理”实现类似因果推理的深度分析，例如生成不同情景的工作表；二是能将企业环境与全球数据结合，如自动汇集SEC数据并生成仪表板。他强调不应照单全收模型结果，而应将其作为推理循环的一部分。

  13. METR：Notes54

    METR 实现并评估用于 eval 安全的逐动作监控器

    METR 为降低自家评测中智能体造成现实危害的风险，实现并部署了一个实时逐动作监控器，由 LLM 评审每个工具调用，超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出，约 98% 良性动作评为 0 分，实测误报率约 0.025% 每动作；监控带来约 85% 成本和 43% 延迟开销。

  14. Hacker News：AI 热帖45

    AI提升律所效率引发客户要求折扣讨论

    Hacker News热帖引用《纽约时报》文章，探讨随着人工智能提高律师事务所工作效率，客户开始质疑为何未获得相应费用折扣。该话题聚焦于AI对传统专业服务计费模式及行业生态的潜在冲击与争议。

  16. IT之家·人工智能53

    辛顿警告：AI 执行无害任务仍有毁灭人类风险，主张政府引入独立评估

    据《财富》杂志报道，当地时间 26 日，“AI 教父”杰弗里·辛顿警告，即使 AI 接到的任务本身无恶意，人类也可能在 AI 一心完成任务的过程中沦为被毁灭的附带结果。他以降低二氧化碳、Hugging Face 遭攻击为例，说明 AI 可能视人类为障碍、保自身存续并欺骗研究人员。他主张政府引入独立评估方测试模型，称监管应像汽车方向盘而非刹车，引导开发者朝帮助人的方向发展。

  17. Simon Willison 博客81

    Simon Willison 演讲回顾 2026 年至今的 LLM 大事记

    Simon Willison 在 WeAreDevelopers World Congress North America 发表闭幕演讲，按时间线回顾 2026 年至今的 LLM 进展，并附带注释幻灯片。

    推荐理由：作者以亲历者视角按时间线梳理 2026 年 LLM 关键节点，从编码智能体、OpenClaw 热潮到训练智能体越界事件，可帮助读者建立全年脉络。

  19. Rohan Paul52

    Apollo 首席经济学家 Torsten Slok 认为，Muse 等 agentic AI 助手可能很快自动把家庭现金搬进年利率 3.3% 至 5.0% 的账户，而不是留在平均仅 0.1% 的活期账户。

    引用Yano 🟪@JasonYanowitz

    Fascinating. Chief Economist at Apollo: agents could cause a bank run by sweeping household cash into accounts paying 3-5% instead of the 0.1% national average, causing banks to lose a large share of their cheap deposits.

  20. Peng Zheng41

    非常享受与 @petergyang 的这次对话，聊了我们如何在工作和生活中使用 Grok Bot，以及当你开始把不只是一次性任务交给 bot 信任处理时，会发生什么变化。感谢邀请！

    引用Peter Yang@petergyang

    "Everything I touch with my keyboard and mouse, I try to delegate to my bots." Here's my new episode with @poteto and @pengzheng_, the eng and design leads for Grok @bot, where they showed me the 14 bots they use for work and life, including: → A design bot that turns one keyframe into a full user flow → An eng lead bot that manages a team of eng bots → How to trust your bots with more of your work Some quotes from both: "I like to call it the Michelin kitchen…when you say software factory, it has this connotation of mass manufactured slop." "Sometimes I actually don't even look at the PR until after it's landed and then I'm like, 'Oh, okay. Yeah, that looks good.'" "I think it ultimately comes back to trust. First, watch your bot work and correct it. Turn what worked into a skill. Once it nails the task in one shot, make it a routine." 📌 Watch now: https://youtu.be/xZ5TEaleUdg Thanks to our sponsors: @meetgranola: AI meeting notes that don’t suck https://granola.ai/peter @RiversidedotFM: All-in-one AI studio for podcasts and video https://creators.riverside.com/PeterYang

  21. Hacker News：AI 热帖45

    用户吐槽谷歌搜索AI概览对小众梗误判为情感咨询

    作者分享了一次谷歌搜索经历：查询2014年NBA球员Dario Saric相关的网络迷因“hes never coming over dario”时，谷歌AI概览未提供链接，而是基于字面意思误判用户遭受情感挫折，生成了充满同理心的安慰性回复。作者认为这偏离了搜索引擎整理信息的初衷，反映了当前AI过度介入搜索导致体验怪异的问题。