跳到正文
7月17日周五
  1. Claude:Blog65

    Anthropic 用 Claude Code 大规模迁移代码:Bun 百万行 Zig 转 Rust,两周完成

    Anthropic 工程师用 Claude Code 在两周内将 Bun 的百万行 Zig 代码迁移至 Rust,100% 现有测试通过,合并后出现 19 个回归问题已全部修复。另一工程师用周末将 Python 代码库迁移至 16.5 万行 TypeScript。迁移消耗约 16.5 万美元 API 成本,但编译时间从八分钟降至两秒,二进制启动快 6 倍。

    推荐理由:Anthropic 用自家 Claude Code 把百万行 Zig 代码迁到 Rust,两周搞定,这不仅是案例展示,更是开发者如何用 AI 重构代码库的实操指南,尤其适合那些被遗留代码拖累的团队。

7月16日周四
  1. a16z:News48

    a16z 领投 Runta 种子轮:为 AI 智能体重构 CPU 执行层

    AI 智能体的大规模应用正导致 CPU 短缺,与模型带来的 GPU 短缺类似。Runta 正在重建执行层,为智能体提供“一台完整计算机”的抽象——具备完整 OS、全状态、可本地或云端运行,同时内置企业级安全与策略接口。a16z 领投了本轮种子轮,认为这是从托管软件到托管智能体的最重要计算范式转变。

  2. Google Developers Blog56

    Google 提出模块化提示词转译方案,构建可扩展 AI 智能体

    Google 提出将系统提示词模块化为可复用的“技能文件”,通过转译器进行静态验证并在构建时捕获缺失依赖,从而解决单体提示词导致的扩展瓶颈与运行时错误。该方法将提示词生成集成到 CI/CD 流水线中,防止代码漂移,并允许智能体通过标准 pull request 自主更新逻辑。

  3. Modal 官方工程博客63

    Modal 重写沙箱平台,1 分钟内启动 100 万个并发沙箱

    Modal 宣布从零重写核心沙箱平台,新系统可并发运行数百万个沙箱,并演示了在 1 分钟内创建全部 100 万个沙箱,平均每秒创建约 1.85 万个。

    推荐理由:原文由 Modal 工程团队亲述架构重写思路与实测数据,读者可以了解大规模沙箱系统如何绕开中心化协调的瓶颈。

  4. Meta Engineering Blog43

    Meta 探索分层兴趣表示以优化广告深度漏斗

    Meta 提出分层兴趣表示,一种基于 Transformer 图学习与自监督跨视图蒸馏的上游表示层,为广告实体学习统一嵌入。该系统在数十亿真实交互数据上端到端训练,输出通用嵌入和 Bag-of-Meaning 兴趣 token,旨在连接稀疏的深度漏斗信号与广告主供给。该技术可集成至 Meta 的生成式广告模型(GEM)、Andromeda 及自适应排序模型。

7月15日周三
  1. vLLM 官方博客74

    vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化

    vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。

    推荐理由:原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比,读者可以评估该模型在自己的推理工作流中的可用性。

  2. LMSYS Blog61

    LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS

    LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面,Spec V2 重叠调度消除 GPU 气泡,端到端 TPS 提升 11%;IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k,长上下文下 draft 步骤成本降低约 1.9 倍。内核方面,TopK-V2 将 TopK 视为选择问题,80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs(2.33× 加速),1M ISL 下从 372.1 µs 降至 36.6 µs(10.17× 加速)。优化后 8×B300 单 batch 解码吞吐超过 500 TPS。

  3. OpenAI:官网动态57

    OpenAI 提出管理 AI 投资的五项步骤

    OpenAI 提出五项管理 AI 投资的具体步骤,帮助领导者理解使用情况、控制支出并投资于高价值工作。从 GPT-4 到 GPT-5.4,每百万 token 价格下降 97%,GPT-5.6 在 Artificial Analysis Coding Agent Index 中实现更优性能,输出 token 减少 54%,每任务耗时减少 57%。ChatGPT Work 支持更长、多步骤任务,Admin Console 提供按用户、产品和模型的使用分析与支出控制。建议按结果 ROI 评估模型效率,在规模化前治理高级工作流,将 AI 投资作为组合管理,并根据已验证需求匹配容量与支持。

7月14日周二
  1. Inception Labs:Blog67

    Inception Labs 发布 Mercury 2:首个在 NVIDIA GPU 上每秒解码超 1000 token 的推理扩散语言模型

    Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型(dLLM),在 NVIDIA H100 上以 1000+ token/秒并行解码,300 token 的推理链可在约 300ms 内完成,适配语音对话延迟预算。

    推荐理由:官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据,语音 Agent 开发者可以据此评估是否能替换现有默认模型。

  2. Claude:Blog53

    Hebbia 测试 Claude Fable 5:金融专用基准测试中准确率提升约 20%

    为机构金融提供 AI 平台的 Hebbia 测试了 Claude Fable 5。在其金融专用基准测试中,Claude Fable 5 在文档问答与引证测试上实现了约 20% 的相对准确率提升,创下团队记录;在智能体测试中,它能同时处理多部分请求并逐一溯源。该模型还能从更广泛的数据中推理,得出值得深入分析的结论。Hebbia 正借助 Claude Fable 5 将 Matrix 平台的能力从提取信贷协议条款扩展到多步分析,如对比实时监控数据、标记风险并草拟内部备忘录。

7月13日周一
7月11日周六
  1. 蚂蚁 inclusionAI:GitHub 新仓库65

    蚂蚁集团开源 AKernel:面向 AI 智能体的可编程数据中心基础设施

    蚂蚁集团开源 AKernel(Agent Kernel),一个将整个数据中心视为 AI 智能体可编程扩展的分布式内核。它通过统一 Python SDK 实现计算、网络和存储的编程控制,支持单机、私有 K8s 及多云(阿里云、华为云)一键部署,冷启动仅需 40 毫秒。AKernel 代码由 AI 大量贡献,并内置基于 OpenTelemetry 的全栈可观测性。

    推荐理由:蚂蚁把数据中心变成 Agent 的可编程扩展,对于需要大规模弹性编排 Agent 的团队来说,比用 Kubernetes 手写 YAML 直接得多,不过目前严重依赖阿里云和华为云,通用性还差一截。

  2. 蚂蚁 inclusionAI:GitHub 新仓库60

    蚂蚁 inclusionAI 开源沙箱生命周期服务 sandboxd

    蚂蚁集团 inclusionAI 在 GitHub 开源 sandboxd,这是 AKernel 使用的 Linux 沙箱生命周期服务,通过 gRPC API 管理沙箱资源,当前基于 gVisor 运行沙箱,并计划近期开源 Kata Containers 支持。

    推荐理由:蚂蚁把 AKernel 用的沙箱生命周期管理开源了,对需要安全执行代码的 AI 推理/评测场景有参考价值,但仅限底层基础设施人员,非目标受众不必深究。

  3. LMSYS Blog61

    DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU,由 Miles 框架支持

    DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。

    推荐理由:把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。

7月10日周五
  1. Anthropic:Newsroom47

    Anthropic 与 UST 合作,将 Claude 部署到物理产品工程与生产流程中

    Anthropic 与技术服务公司 UST 达成合作,将 Claude 部署到芯片、汽车、物联网等物理产品的工程与生产流程中。UST 计划在全球培训 20,000 名工程师、架构师和顾问使用 Claude。在 UST 的 iDEC 平台上,Claude Code 直接读取芯片原理图和引脚图,编写并运行回归测试,将验证周期缩短 50% 至 70%,标准四天周转压缩至 48 小时。Claude 还作为推理层,对比真实设备数据与数字孪生模型,标记固件回归和信号完整性故障。

  2. Prime Intellect61

    Prime Intellect 发布 verifiers 0.2.0 预览版,将智能体 RL 环境解耦为 Taskset、Harness 与 Runtime

    Prime Intellect 发布 verifiers 0.2.0,预览重写后的 v1 核心,将环境解耦为 taskset、harness 和 runtime,任意 taskset 可在任意兼容 harness 下运行。

    推荐理由:原文给出任务集、执行框架与运行时三层解耦的设计细节和训练案例,读者可以据此评估这套抽象是否适配自己的智能体训练流程。

7月9日周四
  1. OpenAI:官网动态58

    OpenAI发布政府与国家安全合作伙伴关系方针

    OpenAI近日公布国家安全原则,阐明在政府及国家安全领域部署前沿AI系统的方针。原则强调在保护公民、防御关键基础设施、提供公共服务及应对新兴威胁(网络防御和生物安全)中发挥AI优势,同时确保民主问责、人类判断和法治。过去一个月,OpenAI通过Daybreak网络防御计划与澳大利亚、加拿大、日本、韩国、法国、德国、波兰、荷兰及欧盟ENISA等机构建立网络安全信任访问合作,并与英国政府开展网络安全测试评估。上月,OpenAI向部分美国政府及盟友合作伙伴开放GPT‑Rosalind模型用于公共卫生和生物防御。原则适用于现有及未来合作,包括与Department of War的协议,明确禁止大规模国内监控、自主武器系统及高风险自动化决策。OpenAI支持立法对高风险军事用途(如国内监控、自主武器)建立保障措施。

    推荐理由:OpenAI 首次公开发布国家安全合作原则,同时宣布与多国建立网络和生物防御伙伴关系。我觉得这是头部 AI 公司在军事合作上的一次主动透明化尝试,值得看看他们如何设限。

  2. Claude:Blog47

    Thomson Reuters携手Claude推进高风险专业AI:智能体架构将法律研究从数十小时缩至数分钟

    Thomson Reuters CTO Joel Hron称Claude Fable 5为专业AI的关键进化。该公司为法律、税务等领域构建Fiduciary-Grade AI™,整合2700+领域专家、权威内容及工作流。其法律AI平台CoCounsel Legal基于Claude Agent SDK重建,智能体能同时访问数百个工具并自主规划、校验引用。模型需通过四项考验:自检引用、长链工具调用、保持连贯、引入人类审核。客户反馈深度研究从数十小时缩短至数分钟。

  3. LMSYS Blog52

    利用 Netpreme X‑Mem™ MPU 加速 SGLang HiCache

    Netpreme X‑Mem™ 内存处理单元(MPU)作为专用高带宽 KV 内存层与 SGLang HiCache 集成,替代主机 DRAM 作为 L2 卸载层。在基于 Claude Code 代理轨迹的编码工作负载中,前缀缓存命中率平均约 98%。单请求微基准测试显示,首 token 延迟(TTFT)相比主机 DRAM 方案降低约 6.7 倍。在端到端推理基准测试中(20K token 上下文、26 token 输入、20 轮对话),中等负载下每用户吞吐量提升 33%,高负载下交互性提升 50%、系统吞吐量提升 30%。X‑Mem™ 通过 CUDA 和 PyTorch 兼容 API 集成,单节点提供最高 24 TB 内存、4 TB/s 带宽。

7月8日周三
  1. Claude Platform:开发者版本说明53

    Claude Console 新增 API Key 过期时间设置功能

    Claude Console 现支持在创建 API Key 或 Admin API Key 时设置过期时间,可选预设时长、自定义时长或永不过期。对于有效期至少 7 天的密钥,Anthropic 会在到期前邮件通知创建者。Admin API 会在 `expires_at` 字段中报告每个密钥的过期时间,现有密钥不受影响。

  2. Claude Code:GitHub Releases45

    Claude Code v2.1.203 发布

    本次更新新增登录过期警告和手动权限模式标记,并将附加工作目录加入 MCP roots/list。修复了 macOS 下因内存检测误报导致后台会话卡顿 15–20 秒(回归自 2.1.196)、后台会话因 token 过期永久不可用(现自动恢复)、交互式会话中上下文指示器每轮重分析整个对话导致 CPU 和内存回归等问题。同时改进了长响应流时的实时预览性能,并降低了子代理重新委托任务的倾向。二进制体积减少约 7 MB,启动内存减少约 7 MB。左侧箭头不再关闭后台任务/差异/工作流详情视图,改为 Esc。

  3. Claude:Blog50

    将 Claude Code 和 Claude Cowork 带到政府

    Claude Code 与 Claude Cowork 即日起在 Claude for Government Desktop 公开测试,运行于 FedRAMP High 授权环境。Claude Code 协助政府团队构建和现代化公共服务软件系统;Claude Cowork 可直接处理桌面文件,用于备忘录撰写、RFP 审查、案例处理及演示文稿制作。新增治理功能包括管理员设置配置默认值、按部门分配与控制支出;安全团队可获取防篡改审计日志及支持 ATO 流程的文档。计费采用固定增量预付费,设有硬性支出上限,支持按用户和按模型使用跟踪。部门级管理员可通过 SCIM 组映射设置速率限制、金额上限和允许使用的模型。所有管理操作记录在哈希链审计日志中,敏感操作需二人审批。

  4. Cognition 模型 / Devin 博客67

    Cognition 发布 SWE-1.7 模型并详解 RL 训练方法

    Cognition 发布 SWE-1.7,称其以更低成本达到前沿智能水平。模型基于 Kimi K2.7 底座训练,FrontierCode 1.1 Main 通过率 42.3%,Terminal-Bench 2.1 为 81.5%,已在 Devin(Web、Desktop 和 CLI)中经 Cerebras 以 1000 TPS 提供。

    推荐理由:官方既公布基准成绩也详解训练方法,读者可以了解多集群 RL 训练、熵稳定和自压缩等具体做法。

7月7日周二
  1. 英国 AI Security Institute:Blog72

    英国 AISI 用前沿 AI 模型查找云环境配置错误的案例研究

    英国 AI Security Institute 在两周期限内用多种前沿模型和编码 agent 检查内部研发平台的 staging 环境,发现并修复了此前未知的配置错误、提权路径和供应链弱点,一个多步攻击链让普通用户无需受害者交互即可横向访问他人数据。

    推荐理由:英国 AISI 以自身云环境实测前沿模型的攻防价值,给出三种方法的人力成本与检测效果对比,防御方可参考其经验。

  2. LMSYS Blog63

    SGLang 集成 DSpark 推测解码:置信度驱动的可变长度验证

    SGLang 团队将 DSpark 推测解码算法集成到开源推理引擎中。该算法采用半自回归块起草器一次生成一组 token,并利用置信度头与顺序温度缩放(STS)为每个请求动态分配可变验证长度,从而在高负载下裁剪无效验证成本。SGLang 支持密集模型(如 Qwen3)和稀疏模型(如 DeepSeek-V4),通过全 CUDA 图处理不规则的每请求验证长度。提供三种验证模式:`static`(全长)、`compact`(生产路径)和 `cap-accept`(接受上限测量)。还引入了零开销调度、基于离线成本表的在线调度器、融合 Triton 核等优化。在 H200 上使用 DeepSeek-V4-Flash 的测试中,DSpark 在整个并发扫描范围内比 MTP 和非推测基线实现了更优的吞吐量-延迟权衡。

    推荐理由:DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

  3. Google Developers Blog40

    Google MaxText 弹性训练:训练中途终止 TPU,数秒内恢复

    分布式 AI 训练常因单台机器故障导致整个多节点作业崩溃,需耗时重启。Google 的 JAX 生态通过 Pathways 实现弹性训练,将硬件故障转化为可捕获的 Python 异常,使运行进程存活。测试中,训练中途终止一个 TPU 后,系统自动替换损坏的节点、从 Cloud Storage 恢复最新检查点并原地恢复训练,总停机时间低于 2 分钟,主控制器进程全程无需重启。

7月6日周一
  1. Modal 官方工程博客58

    Modal 工程博客讲解如何为 serverless GPU 定价

    Modal 发布交互式成本模型工具,帮助团队估算 serverless GPU 与预留 GPU 的成本并附定价方法解析。模型用峰值均值比对比两种模式,称预留折扣通常为 2-5x,而推理、训练和 agentic 开发等负载的峰均比常达 5:1 至 10:1,此时 serverless 总成本更低;文中还讨论了需求预测、弹性伸缩和混合策略等模型假设的局限。

7月5日周日