跳到正文
#部署/工程
10月17日周六
10月16日周五
  7. StepFun56

    阶跃星辰发推感谢 RadixArk 为 Step 5 Preview 提供生产环境推理支持。被引用的 RadixArk 祝贺 Step 5 Preview 开放权重，称其以 SGLang 及缓存感知路由栈支撑阶跃星辰第一方生产 API，在严格延迟要求下实现高效的 token 经济性，并邀请用户用 SGLang 部署 Step 5 Preview。阶跃星辰表示很高兴看到 SGLang 在真实工作负载上实现高效可扩展推理。

    引用RadixArk@radixark

    Congratulations to @StepFun_ai on Step 5 Preview going open weights! RadixArk is proud to help power StepFun's first-party production API with SGLang at scale. Production inference means great token economics under strict latency requirements. SGLang and its cache-aware routing stack now bring that to Step 5 Preview in proven production traffic. Building with Step 5 Preview? Deploy with SGLang today!

  9. GitHub Blog50

    GitHub 如何用 Evergreen 自动化共享组织的访问审查与仓库清理

    GitHub 用原生功能构建的 GitHub App Evergreen，通过两个工作流自动化组织卫生：每季度审查外部协作者访问权限，未响应即默认撤销；检测并归档长期无人类活动的仓库，且从不删除仓库内容。它由 Go webhook 服务器驱动，状态以 JSON 文件提交到 controller repo，用 git 历史充当审计记录，决策通过仓库内的 checklist issue 完成。

  10. LMSYS Blog64

    SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持

    SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open（816B 参数、约 42B 激活、1M token 上下文）提供 Day-0 推理支持，权重提供 NVFP4 和 BF16 两种格式。

    推荐理由：原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据，读者可以据此评估大规模部署该模型的可行路径。

  16. Apple Machine Learning Research60

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

    Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。

    推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。

10月15日周四
  3. IT之家·人工智能61

    Anthropic 弃用 Git，自研版本控制系统 Scion

    Anthropic 宣布弃用 Git，改用自研版本控制系统 Scion，将提交、合并、变基和文件历史查询等操作放到服务器端执行。原因是其代码合并量从 5 月日均 2500 次增至 9 月超 3 万次，Git 已无法满足需求；Scion 的 CPU 和内存消耗仅为 Git 的两百分之一，CI 和研究任务代码检出从几分钟缩短到几秒。

  6. Ant Ling50

    蚂蚁百灵发推感谢 SGLang 为 Ling-3.1-flash 提供 day-zero 支持，帮助开发者更高效地部署该模型。SGLang 介绍其为 560B 参数 MoE 混合推理模型、25B 激活、1M 上下文，经 MXFP4 与 block-FP8 量化后权重从约 534GB 降至约 292GB，可在 4 张 Hopper GPU 上运行，并称其在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等 agent、办公与编码任务上表现良好。

    引用SGLang@sgl_project

    SGLang has Day-0 support for Ling-3.1-flash from @AntLingAGI! A 560B MoE hybrid reasoning model, 25B active, 1M context, built for real work: it turns a rough brief into a page, mobile UI, or interactive prototype. ✅ MXFP4 + block-FP8 quantization cuts weights from ~534GB to ~292GB, fitting on 4 Hopper GPUs ✅ Strong on real-world agent, office, and coding tasks, including GDPVal-AA, FrontierSWE, and Terminal-Bench 4.0. Get started with SGLang:

  7. Ant Ling58

    蚂蚁百灵感谢 vLLM 对 Ling-3.1-flash 提供 Day-0 支持，开发者可从第一天起用 vLLM 在自有基础设施上运行该模型。vLLM 侧信息显示该模型总参数约 560B、每 token 激活约 25B、支持最高 1M 上下文，可从简单需求描述生成网站、移动 UI 和交互原型。

    引用vLLM@vllm_project

    🎉 Day-0 support for Ling-3.1-flash is here in vLLM! ~560B total parameters, ~25B active per token, and up to 1M context. From a rough brief to websites, mobile UIs, and interactive prototypes—serve it on your own infrastructure with vLLM. Congrats to @AntLingAGI!

  12. vLLM 官方博客60

    vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

    vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。

    推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。

  16. vLLM 官方博客50

    vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍

    vLLM 新增 push-based NIXL connector，将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。