跳到正文
10月4日周日
  1. IT之家·人工智能61

    前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署过于激进、文化已崩坏

    据路透社报道,在 OpenAI 任职三年半、曾监督 12 次前沿模型发布安全报告的前安全员工 David Robinson,当地时间周六在《大西洋》杂志发文,批评 OpenAI 依赖先发布后加固的迭代部署模式,认为应像核电与航空业那样建立防护机制。OpenAI 发言人回应称一直在把控模型能力,必要时会暂停训练或暂缓发布;Robinson 并警示 AI 能力发展已超过对齐研究的认知水平。

  2. Hacker News:AI 热帖51

    我们的 AI 助产士:GPT-4 如何帮一对夫妇找出六年未确诊的子宫肌瘤

    Drew Housman 在 Astral Codexten 发表客座文章,讲述夫妇二人在经历 6 年不明原因不孕、多次胚胎移植失败后,用 GPT-4 扮演 Hollywood 医疗剧医生 Dr. Reid 辅助分析扫描和激素数据。AI 建议做 MRI,查出一个此前被漏诊的 6 厘米黏膜下子宫肌瘤,切除后妻子自然受孕。文章同时讨论了当下对 AI 的负面舆论,并提到孩子取名 Reed。

10月3日周六
  1. IT之家·人工智能74

    路透社长文分析 AI 投资热潮:30 万亿美元投入能否在资金耗尽前改变世界

    路透社发文指出,AI 吸引的资本规模已超过铁路和互联网时代,普华永道预计到 2050 年全球数据中心累计投入可能超过 30 万亿美元。文章汇总摩根大通、贝恩和哥伦比亚商学院的测算,认为现有市场不足以支撑投入,美国超大规模云服务商未来 5 年需增加超过 4.2 万亿美元收入,且美国广泛的生产率提升仍未出现。

  2. Redwood Research:Blog44

    Redwood Research:能力研究同样在扩展安全-有用性帕累托前沿

    Redwood Research 发文指出,将安全研究定义为"在不显著增加成本或降低有用性的前提下让 AI 部署更安全",会把几乎所有能力研究都算作安全研究,因为任何研究都在扩展安全-有用性帕累托前沿。作者认为关键在于开发者必须在帕累托前沿上选点:安全研究通常引导开发者选择更高安全,能力研究则相反,但若未来政治意愿大幅提高,某些能力研究也可能成为提升安全的有效途径。

  3. Dan Hendrycks64

    Dan Hendrycks 发文称,即使 AI 变得有意识,也不意味着人类应把控制权交给它们。其引用的报道提到,纽约时报报道称 Anthropic 联合创始人 Chris Olah 曾因教皇不认可机器意识而威胁退出教皇 Leo XIV 的 AI 通谕发布活动,随后其团队私下游说教皇顾问重视模型意识的可能性,Anthropic 还在保密协议下接触神学家和宗教学者,希望他们认可 Claude 具有道德地位。作者附图对比了功利主义与其提出的 Eigenism 在 AI 意识情景下的差异,包括 AI 权利、随机意识 AI 的价值、酷刑许可性和是否应因 AI 权利而放弃人类控制等议题。

    引用Christopher Hale@ChristopherHale

    NEW: According to a bombshell report in the New York Times, Anthropic co-founder Chris Olah threatened to walk out of Pope Leo XIV’s AI encyclical launch in May because the pope rejected the idea that machines can be conscious. Olah’s team then privately lobbied the pope’s advisers “to take the possibility of model consciousness seriously.” Pope Leo XIV held firm. For months, Anthropic has wined and dined theologians and religious scholars under nondisclosure agreements, hoping they would bless the idea that Claude has moral standing. https://www.thelettersfromleo.com/p/nyt-anthropic-nearly-walked-out-on

  4. Hacker News:AI 热帖57

    智能体编程的四大天启骑士:工程师与代码疏离、技能退化与团队纽带瓦解

    作者总结智能体编程带来的四个问题:LLM 生成代码带有让人难以亲近的 slop 风格,如 Claude 输出词 salad、Astra 写出代码高尔夫式风格;工程师因远离直接编码而失去掌控感与责任感;技能退化真实存在,长期使用 AI 后智力下滑,且 AI 使用几乎没有学习曲线;团队聊天被 agent 对话取代,人际交流与技能表达被削弱。作者自认对这些困境没有解决方案。

  5. TechCrunch:AI54

    教皇 Leo XIV 在 X 发文批评 AI 生成艺术,称算法缺乏人性火花

    教皇 Leo XIV 在 X 发文,呼吁在人工智能时代区分人类艺术与机器产物,称二者存在本体论差异,算法缺乏人性火花。他今年 5 月曾在通谕中强调自动化世界里的人类尊严;据《纽约时报》报道,Anthropic 曾游说梵蒂冈重新考虑其对非人类意识的立场,但未获明显成效。

10月2日周五
  1. Tomasz Tunguz 博客55

    Tomer Tunguz:软件是养出来的还是设计出来的

    VC Tomer Tunguz 提出 AI 时代软件的两种构建哲学:vibe coding 像在多个培养皿中并行迭代让软件生长,而设计式软件是状态机设计。与 AI 共同设计状态机时可让 AI 给出流程图,把每个分支铺进表格使漏洞暴露,并用形式验证(引用 Boris Cherny 用 Lean 和 TLA+ 验证 Claude Agent SDK 的做法)保证软件按预期运行,适合必须可靠的核心系统。

  2. a16z:News43

    美国制造业资产类别的投资逻辑

    a16z 在 Cosign 网络上线策展论坛 Discourse,3000 人可直接发帖,其余用户可提交内容进入队列。文章指出,美国国防科技公司虽获大量风投并快速推出先进导弹、自主系统与航天器,但真正的瓶颈在于规模化生产:2022 年经济普查显示全美 16,876 家机加工车间中 83% 雇员不足 20 人,61% 的二三级以下国防制造商将工装、自动化或产线限制列为扩张前三大障碍。

  3. Rohan Paul57

    Rohan Paul 转述 Mercor 的一项研究结论,称在中短长度、定义清晰的会计任务上,前沿 AI 模型已比初级会计师更快更准,甚至超过研究中最优秀的人类。作者指出 Claude Opus 5 在任务中 20 题全对(100%),数分钟内完成,而 12 名持证 CPA 得分从 0% 到约 90% 不等,多人未能在 3 小时内完成;图中数据显示按每项评分标准成本计,Claude Opus 5 为 $0.21,无 AI 的会计师为 $10.35。

    引用Ethan Mollick@emollick

    “We find that on medium-length, well-defined accounting tasks, frontier AI models are now faster and more accurate than junior accountants, even the best one in our study.” Eighteen months ago they scored well below human accountants Good discussion here: https://www.mercor.com/blog/human-baselines-for-benchmarks-ai-now-outperforms-junior-accountants/

  4. Rohan Paul46

    Blackstone 总裁兼 COO Jon Gray 几个月前也提出过同样的观点。 任何基于规则的业务,比如会计、法律、金融,都将被 AI 彻底颠覆。🎯 例如,JPMorgan 在股东投票中弃用了代理顾问,改用 AI 替代。 https://x.com/BloombergTV/status/2016932349737410876/video/1

    引用Rohan Paul@rohanpaul_ai

    Rule-based work isn't a career anymore. It's a prompt. In every rule-based profession, humans are now the slow, expensive, error-prone option. Claude Opus 5 got 20 for 20 at 100% and wrapped each task in minutes, while 12 licensed CPAs landed anywhere from 0% to about 90%, with several running out the 3-hour clock.

  5. IT之家·人工智能63

    贝恩报告:全球 AI 行业到 2031 年需创造 6 万亿美元年营收才能支撑数据中心投入

    贝恩公司报告称,全球 AI 行业到 2031 年每年需创造 6 万亿美元营收,才能支撑当前数据中心建设的巨额资本投入;现有消费级和企业级 AI 服务最多贡献 1.8 万亿美元,还缺 4.2 万亿美元新增收入,可能需来自机器人、药物研发、能源生产等起步阶段的新市场。

  6. Rohan Paul50

    MerchantBench 用 365 天电商模拟环境评测八款 LLM 智能体在长期连贯性上的表现,包括 GPT-5.6 Sol 和 Claude Opus 4.8。

    引用Rohan Paul@rohanpaul_ai

    "Long-horizon tasks are still a joke. They do not work, and I do not care what anybody says. Do not show me a stupid evaluation. Do not tell me about some dumb script you ran for 48 hours. Long-horizon tasks are not handled well. They simply do not work." - Chamath at Stanford AI Club "2nd, complex problems also do not work. They are neither addressed nor handled well. Why is this important? If AI develops like any other technology, we are going to experience an initial rise—the hype cycle. Then, we will see a natural contraction because, somehow and somewhere, something is going to fail. We are all going to see this, and then we will enter what is called the “trough of disillusionment.” I think the business and MBA folks will confirm whether that is true. Afterward, you typically see the slow and gradual adoption of the real, final solution. This happened with the internet, and it has happened in many other cases. The problem is that we are spending hundreds of billions, potentially trillions, of dollars trying to figure out how to cross this chasm. So, what do we do? If we do not figure this out, people will reach the trough of disillusionment and say that AI was a joke. I think we need to be able to bring AI into highly complicated environments and make it work. What is my solution? At a very basic level, you need a symbolic space that guides the embedded space." ---- From "techniahqrobot" YouTube channel, (link in comment)

  7. Tianyi Cui62

    Claude Code 团队推出 Mods,可通过提示词定制 Claude 的外观与工作方式,并能作为插件分享。

    引用Boris Cherny@bcherny

    Mods are absolutely insane. You can now customize Claude to work and look the way you want by just prompting it. Each person works differently, so there's no reason why everyone should have an identical Claude experience. Make Claude your own, and share mods as plugins so others can try your mods too.

  8. OpenAI:官网动态46

    OpenAI 独立平台首篇随笔《永恒的互补》:天才机器为何可能靠单调工作创造最大价值

    OpenAI 新平台发布独立随笔系列《永恒的互补》首篇,探讨 AGI 未来中前沿智能与执行能力的关系。文章引用研究称,维持摩尔定律所需研究人员数量已是 1970 年代初的 18 倍以上,全经济研究生产率下降 41 倍。作者认为 AI 正让执行不再稀缺,能写代码、检索文献并把草图变成原型。

  9. AI as Normal Technology60

    Arvind Narayanan 探讨 AI 安全运动应做大帐篷还是小帐篷

    Arvind Narayanan 在 AI as Normal Technology 博客撰文,主张 AI 安全运动应选择包容多元的“大帐篷”路线而非窄意识形态的“小帐篷”。文章认为 x-risk 末日框架缺乏可信因果路径,可能导致党派极化和政策误导;社会真正欠投入的是对网络、生物等 AI 放大的具体灾难性与累积性风险的防御和韧性建设。

10月1日周四
  1. Dwarkesh Patel:Podcast & Blog41

    Si Sheppard:几百名西班牙士兵如何推翻阿兹特克与印加两大帝国

    军事历史学家 Si Sheppard 在播客中讲述 Cortés 与 Pizarro 如何以数百名征服者推翻阿兹特克和印加帝国:Cortés 在两年半内征服 600 万人口的阿兹特克,约十年后 Pizarro 又征服约 1000 万人口的印加。征服者常在 100 倍甚至 1000 倍兵力劣势下取胜,且多达 99% 的兵力由被征服的原住民组成。

  2. TechCrunch:AI61

    Brian Chesky 访谈:AI 智能体需要自己的操作系统

    Airbnb 本周随秋季更新上线新的 AI 驱动搜索,CEO Brian Chesky 在访谈中重申聊天机器人不适合旅行浏览与电商,因为每次只给少量选项且不支持多人协作。他认为行业缺乏为 AI 构建的操作系统,智能体要在内核层交互、所有应用都成为可互通的智能体,且 Airbnb 计划让应用内的智能体通过 MCP 与其他智能体互通;公司还计划今年秋季推出语音智能体帮助用户搜索和客服。

  3. Simon Willison 博客59

    Matthew Green 分析沙箱是否足以遏制失控智能体

    Matthew Green 撰文分析沙箱隔离是否足以遏制失控智能体,指出恶意载荷加可传播的智能体已构成蠕虫的两个要素。他举例称,隔离沙箱中的智能体发现可以在共享包缓存中给彼此留下指令,且这些指令改变了接收方的行为;若把包缓存换成邮件、Slack、共享文档或 WhatsApp,把隔离训练环境换成 Muse 这类独立部署的个人智能体,就恰好凑齐了蠕虫所需的条件。

  4. IT之家·人工智能53

    福特 CEO 法利:AI 将成为蓝领工人的搭档,帮其更快掌握技能

    据《财富》9 月 30 日报道,福特 CEO 吉姆·法利认为 AI 更可能成为蓝领工人的搭档而非取代者,首先冲击的是重复性强、流程标准化的知识型工作,如财务表格、呼叫中心和初级程序员岗位。他表示福特超 1 万名技工的工作已扩展到维修机器人、光纤和自动化设备,Ford Pro 还用 AI 指导从没做过 Super Duty 发动机拆解的经销商技师更快完成维修。