跳到正文
10月5日周一
  1. Modal 官方工程博客43

    TypeSafe AI 在 Modal 上三天内将 Jev 扩展至超万亿 token

    TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token,并在 OpenRouter 1K-10K token 上下文榜单登顶,承接 15.1% 的请求。Jev 并非大语言模型,而是非自回归的 System One Model,以状态和问题为输入,并行输出带概率的结构化类型值,训练采用自研的 RLCD 方法。

10月4日周日
  1. IT之家·人工智能49

    卡普空公布 REX 计划:将 RE 引擎改造为面向 AI 时代的游戏引擎

    卡普空在“卡普空公开大会 RE:2026”上公布 REX 计划,将分阶段升级现有 RE 引擎而非从零开发,使其适配 AI 时代。该计划以“全球最为通用的编程语言”为基础统一改造引擎,便于开发者使用和 AI 解读,AI 后续可理解并编写新程序、开展游戏试玩测试及排查程序漏洞。REX 将从引擎运行效率、性能、配套工具、质量检测等方面入手,解决 3A 游戏体量庞大、开发耗时等难题。

10月3日周六
  1. Baseten 工程博客64

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

    推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

  2. Prime Intellect61

    Prime Intellect 发布推理服务平台 Prime Inference

    Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。

    推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。

10月2日周五
  1. Rohan Paul60

    Volantis 宣布 8800 万美元 A 轮融资,累计融资 9700 万美元,投资人包括 Sam Altman、Jeff Dean 和 John Doerr,目标是在超过 10T 参数的模型上实现每用户 10,000 tokens/秒的推理。

    引用Tapa Ghosh@semiDL

    Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post

  2. MarkTechPost53

    Google Research 的 Kauldron 实战教程:纯数据配置、字符串接线和端到端可读的 JAX Trainer

    教程实测 Google Research 的 JAX 训练库 Kauldron 1.4.2,验证其研究速度与模块化两个卖点。konfig 把实验配置变成可 JSON 序列化的纯字典树并用 cfg.ref 引用避免值冻结,kontext 用字符串 key path 接线组件使损失与模型互不导入,ktyping 在运行时按命名轴检查形状并在报错时给出轴绑定信息。

  3. Cerebras:Blog42

    Cerebras 如何从零实现解耦推理:异构解耦将吞吐提升 5 倍

    Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。

  4. Modal 官方工程博客61

    Modal 正式发布 VM Sandboxes:给 Agent 一台完整的 Linux 虚拟机

    Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。

    推荐理由:Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法,对需要给 Agent 配完整机器的开发者有直接参考价值。

  5. Google AI:DEV 作者专属46

    在 PostgreSQL 中实现亚秒级语义过滤:AlloyDB 集成超快 Jev 模型

    AlloyDB for PostgreSQL 通过模型端点管理接入 TypeSafe AI 的 Jev 模型,可在数据库内直接执行布尔判断与多分类等语义评估,无需预先准备嵌入向量。Jev 面向毫秒级结构化输出优化,配合 ai.if 和 ai.analyze_sentiment 等原生函数,在 3 万条商品数据的电商数据集上实现高吞吐语义查询。

10月1日周四
  1. Every:最新文章60

    Every 发布开源模型入门指南,教你怎么判断哪些任务可以不用闭源前沿模型

    Every 发布开源模型实用指南,讲解如何评估需求、选择模型与托管方式,将开放模型用于编码、创意和日常自动化等工作。指南指出当下最强开源模型多来自中国实验室,并强调按任务难度区分模型选择,同时附上一个用于审计现有 AI 用法、筛选可迁移到廉价模型任务的提示词。全文为付费订阅内容。

  2. Rohan Paul57

    Rohan Paul 引用 Musk 的说法估计,SpaceX 算力到 11 月底有望达约 2.3 GW。基础是 2Q26 底的 1.4 GW;本周 220k NVIDIA GB300 上线,11 月再加 220k,每批 220k 约合 440 MW,两批合计在 1.4 GW 之上新增接近 0.9 GW。Musk 还列出 Colossus 1 为 150k H100、50k H200 和 30k GB200,Colossus 2 为 110k GB200 和 440k GB300。

    引用Elon Musk@elonmusk

    @minchoi Colossus 1 is 150k H100, 50k H200 and 30k GB200. Colossus 2 is 110k GB200 and 440k GB300. Another 220k GB300 will be fully operational next week and another 220k in November. If we get lucky, yet another 220k GB300 by late December.

  3. IT之家·人工智能70

    曝腾讯租用甲骨文东南亚数据中心:涉及约 10 万块先进 AI 芯片,交易估值约 70 亿美元

    据《金融时报》报道,腾讯与甲骨文签署其最大海外租赁协议,在东南亚多个甲骨文数据中心租用约 10 万块先进 AI 芯片,五年期交易估值约 70 亿美元,首付约 30%。算力将用于推进 AI 模型和智能体工具开发;腾讯第二季度资本支出同比增 176% 至 530 亿元人民币。双方均未回应置评请求。

  4. OpenRouter:Announcements67

    OpenRouter 教程:如何在 CI 中用 LLM eval 门禁拦截 Pull Request

    OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。

    推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。

  5. OpenRouter:Announcements67

    OpenRouter 发布 Agent 模型成本与质量权衡选型框架

    OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。

    推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。

  6. OpenRouter:Announcements68

    OpenRouter 指南:用置信度阈值实现模型分级升级路由

    OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。

    推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。

  7. The Verge:AI70

    Google 发布 Gemini 4 Argon,目前仅限受信任的网络防御者使用

    Google 发布新一代前沿模型 Gemini 4 Argon,称其在软件工程、法律和金融等企业知识工作以及网络防御方面具有前沿性能。模型初期仅向一批受信任的网络防御者开放,Google 正参与美国政府的发布前模型访问自愿流程并逐步扩大访问范围;该模型已用于 Google 内部工作流,如大规模代码库迁移。