Runway 视频模型 Gen-4.5 与 Aleph 2.0 上线 Baseten 专属部署
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 进行专属部署。用户可从 Runway 直接授权模型权重,在 Baseten 的单租户隔离环境中运行,并获得专属 GPU 资源与自动扩缩容,Baseten 为该部署提供 99.99% 可用性 SLA。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 进行专属部署。用户可从 Runway 直接授权模型权重,在 Baseten 的单租户隔离环境中运行,并获得专属 GPU 资源与自动扩缩容,Baseten 为该部署提供 99.99% 可用性 SLA。
Lovable 宣布推出 Deploy on AWS,目前处于私测阶段,企业团队可以在自己的 AWS 账户内运行 Lovable 应用。
Databricks 以内部应用 Slide Hub 为基准,实测 Lakebase Search 在 1M 到 4M 行语料下的表现,给出按查询先定 CU 再扩应用的选型方法。
OpenAI 发布博客,讲解关键 AI 工作负载如何在直连 OpenAI API(1P)与通过云供应商访问 OpenAI 模型(3P)之间做生产路由和故障转移。
Databricks 宣布 Private Network Gateway(PNG)在 Azure 进入公开预览、在 AWS 进入私有预览,让 Serverless 工作负载通过一条连接接入客户自有网络。
NVIDIA 发布 cuDF skills for Apache Spark,用 AI Agent 把 Spark UDF 自动改写为 GPU 加速版本,几分钟内完成测试、基准到集成。
Ollama 宣布 Ollama Cloud 可在 Fly.io Sprites 沙箱内使用,支持 Claude Code、Codex、Cursor 和 Gemini CLI 开箱即用。
Cursor 宣布 Origin 应用市场上线,已集成 20 多款应用,覆盖部署、CI、代码审查、安全、监控和项目管理,合作伙伴包括 Cloudflare、Linear、Sentry 和 Socket Security。市场即日起向公众开放提交,团队可基于 Origin API 构建应用,经审核后上架;官方还提供发布指南、API 参考和 Origin Apps 插件辅助开发与迁移。
Pydantic AI 作者 Samuel Colvin 撰文主张图库是个错误,代码本身就是图,认为 LangGraph 那类图 API 在类型安全、并行执行和状态快照三者间不可兼得。
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中,用跨六种加速器(B200、B300、H100、H200。
Mastra 平台推出 Metrics API,可通过 Mastra Client SDK(需 1.9.0+)、CLI(需 1.9.2+)或可观测性端点查询 token 用量、模型成本、延迟和错误率,支持 US 和 EU 两个区域端点。
Anthropic 发布工程复盘,因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000,五个月内自研版本控制系统 Scion 并完全替代 git,同时推出代码评审工具 Antique。
推荐理由:Anthropic 自建版本控制系统 Scion 的完整复盘,给出面向智能体规模负载的设计原则、架构细节和实测收益,可迁移到其他大规模仓库场景。
Baseten 工程博客解析 Gradium TTS 如何实现实时语音合成,Coval 基准测得其 TTFA 中位数为 155 ms,四分位距仅 2 ms。
LangChain 发布 langchain-scaledown 集成,并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型(CDM),用于降低长时智能体上下文管理的成本和延迟。
推荐理由:文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法,读者可以按场景迁移用于压缩智能体上下文。
Meta 在 2026 Open Compute Project 全球峰会上发布新一代开放 AI 网络基础设施,包括首个液冷网络机架 IcePack、102.4T 交换刀片 IceCube(128×800G,运行 FBOSS),以及多平面后端 scale-out 网络 FPF。
vLLM 通过双向 KV 传输让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 的 1P1D 部署上,该特性将 Qwen3-32B 的 TTFT 降低最多 1.6 倍,zai-org/GLM-5-FP8 降低最多 3.3 倍。
Modal 推出 Endpoint Candidates,可为 Dedicated Endpoint 暂存候选部署,镜像生产流量以对比质量、延迟、吞吐和成本,并从仪表盘晋升到生产,现已向所有 Modal 工作区开放。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开源模型做分布式微调,用 26 个 AI 评委(12 个医疗安全、6 个微观行为、8 个实用性)和超 15,000 条隐私优先合成问题构建训练信号,并采用监督微调加 DPO 的强化微调流程。
NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM,将 SSM 状态表示为检查点加近期输入缓冲,减少状态内存流量、简化投机解码回滚并限制量化误差累积。
Mastra 为 Mastra Studio 的智能体 trace 新增 Thread View,可将对话消息与产生它们的步骤并排查看,并支持打开完整 thread 按顺序浏览整段对话。该功能需 mastra@1.33.0 或更高版本,若智能体已使用 memory 并通过 MastraStorageExporter 持久化 trace,则无需额外配置。
IBM Research 发文解析分布式推理如何为大规模 LLM 服务调度流量,其开源 Kubernetes 原生框架 llm-d 涵盖前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行六项技术。
Anthropic 发文详解其自研版本控制系统 Scion:因 Claude 使日均合并代码从 2026 年 5 月约 2,500 次增至 9 月超 30,000 次,git 难以承载,团队七人在五个月内构建 Scion 和代码评审工具 Antique 并完成迁移。
推荐理由:Anthropic 复盘自研版本控制 Scion 的设计原则与迁移经验,为面临类似 agent 规模代码压力的团队提供了可借鉴思路。
NVIDIA 在 OCP 全球峰会宣布通过 MGX 架构开放 Vera Rubin 机架和计算托盘设计,并发布 MGX 1.2 规范,支持最高 250kW 机架部署、盲插液冷和 5000A 母线。
Microsoft 宣布将从 2027 年起把 Azure Maia 系列扩展到多吉瓦级部署,并使 Maia 成为微软产品与服务的主要推理系统。
浏览器指纹识别通过收集 user agent、语言、屏幕尺寸、字体、canvas 与 WebGL 渲染、音频处理等信号,组合后经哈希函数生成紧凑标识,用于在 cookie 被删除后仍能识别回访浏览器。它分为被动式(HTTP 头、IP、TLS 握手)与主动式(JavaScript 采集)两类,常用于追踪用户、防欺诈和检测机器人,但相似浏览器可能撞车、浏览器更新也会改变结果。
RadixArk 的 SGLang & Miles 团队获得两台 NVIDIA Vera Rubin 节点(8 GPU)的早期访问,将 SGLang 用于推理、Miles 用于 RL 训练并首次跑通。
vLLM 现已支持 NVIDIA Vera Rubin NVL72,在 AgentX 上匹配交互性时每 GPU 吞吐量达 GB200 NVL72 的 7.8 倍,MLPerf 中 VLM 吞吐量最高为 GB300 NVL72 的 3.7 倍。
LangChain 在 Managed Deep Agents v0.9 中新增 reactions API,可为 Slack 等渠道的分布式智能体动态分配 emoji 回应,支持字符串或返回 emoji 的可调用对象。该功能可接入 Jev 等决策模型,Jev 最多支持 255 个选项,并可用置信度阈值(低于 0.25 时回退到 👀)控制回应。
Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。
Baseten 工程博客解析如何实现高质量 NVFP4 4-bit 量化,介绍了启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 每 16 个值共享一个 block scale,权重可直接计算 scale,激活值则需通过校准数据集统计分布。
蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个面向 SuperNode 的后训练分布式训练引擎,基于 PyTorch FSDP2 与 Hugging Face Transformers,融合 FSDP、专家并行(EP)和 Ulysses 序列并行(SP)。
Databricks 为 Lakebase Postgres 引入 LTAP 架构,将批量数据加载从主计算节点卸载到 Spark 分布式引擎,内部基准测试显示加载 1 TB 数据现在只需不到 5 分钟。
ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。
推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。
NVIDIA Dynamo 引入统一的会话级标识符 session_id,把请求级推理服务升级为程序感知系统,覆盖会话感知路由、共享 KV 索引与程序化缓存迁移,兼容 vLLM 和 SGLang。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。
推荐理由:原文给出监控级联的完整数据、成本和部署细节,读者可以据此评估实时监控开放模型智能体的可行做法。
Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置,从而降低 all-to-all 通信开销。实验显示,在 8 台 MI300x 节点集群上,EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%(top-2 路由),top-6 路由下则从 24% 升至 60%。
Databricks 在 Data & AI Platform 上推出主动式成本管理方案,通过成本归因、预算、告警、仪表盘和优化五大支柱,让团队在花钱前就设好护栏。
Databricks 发布指南,介绍如何通过更换 dbt-databricks 适配器和连接配置,将现有 dbt 转换项目重新指向 Databricks Lakehouse,无需重写 DAG 或业务逻辑。
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。
NVIDIA cuOpt 推出多 GPU 的 mPDLP 求解器,通过 NVLink 连接的 GPU 分布式求解线性规划问题,求解速度比一年前快近 10x,单 GPU 峰值内存占用最多降低 6x(LP 问题上限 2.1B 非零元)。该求解器已在 Kinaxis 的供应链生产规划和 PSR 的大规模能源系统容量扩展模型中得到应用。