SGLang现已集成KTransformers后端，为DeepSeek-V3等稀疏MoE模型提供CPU/GPU混合推理加速。该技术采用Intel AMX优化内核，使单路Xeon算力达21.3 TFLOPS，较PyTorch原生实现快3.9倍；通过NUMA感知张量并行和CUDA Graph调度，双路服务器解码吞吐量提升63%，GPU内核启动开销从20%降至接近零；专家延迟机制支持跨层重排计算以重叠CPU与GPU执行，在精度变化低于0.5%的情况下使解码吞吐量再提高1.45倍。
SGLang与NVIDIA针对Blackwell架构（GB200 NVL72）深度优化，在DeepSeek R1模型上实现每GPU 26k输入与13k输出tokens/秒的高吞吐。通过Prefill-Decode分离架构、大规模专家并行及FP8/NVFP4内核优化，SGLang在SemiAnalysis InferenceMAX基准测试中较Hopper代际获得4倍性能提升，并被选为该基准在NVIDIA与AMD硬件上运行DeepSeek模型的默认推理引擎。
DeepSeek 将 deepseek-chat 和 deepseek-reasoner 均升级为 DeepSeek-V3.2-Exp。其中 deepseek-chat 对应非思考模式，deepseek-reasoner 对应思考模式，详细更新内容见官方文档。
SGLang 在发布首日即支持 DeepSeek-V3.2，该模型基于 DeepSeek-V3.1-Terminus 引入 DeepSeek Sparse Attention (DSA) 机制。DSA 通过 Lightning Indexer 和 Top-k Token Selection 将注意力复杂度从 O(L²) 降至 O(Lk)，在 128K 长上下文下实现训练与推理效率大幅提升且质量损失可忽略。SGLang 实现了专用缓存与 Native Sparse Attention 后端，并提供了面向 NVIDIA、AMD MI350X/MI355X 及 NPU 的部署方案与容器镜像。
蚂蚁集团联合SGLang提出H20-96G部署DeepSeek-R1的工业级方案。针对H20高内存带宽、低计算吞吐特性，采用硬件感知策略：单节点TP-8处理prefill，小规模EP-16处理decode。结合FlashMLA-FP8、DeepGEMM swapAB内核优化与异步Expert Affinity负载均衡技术，在4096 token序列上实现单节点16.5k输入/5.7k输出token/秒的吞吐，达H20平台SOTA性能。
SGLang团队基于GB200 NVL72优化DeepSeek V3/R1推理，采用FP8 Attention、NVFP4 MoE、大规模专家并行及PD分离等技术。2000 token输入下，单卡Prefill达26,156 tokens/s，Decode达13,386 tokens/s，较H100提升3.8倍和4.8倍。BF16/FP8配置下仍达18,471/9,087 tokens/s。FP8与NVFP4低精度内核分别带来1.8倍和1.9倍加速且精度损失可忽略。
DeepSeek-V3.1 正式发布，deepseek-chat 与 deepseek-reasoner 分别对应其非思考与思考模式。新模型采用混合推理架构，思考效率较 DeepSeek-R1-0528 更高，并通过 Post-Training 优化提升工具使用与智能体任务表现。
推荐理由：DeepSeek 把推理和非思考模式合并到一个模型，解决了之前切模型的体验割裂，Agent 能力提升对做工具调用的开发者是直接利好。
SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型，采用预填充-解码分离（PD）与大规模专家并行（EP）架构，结合Blackwell专用优化组件（DeepGEMM、DeepEP等），实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下，性能较H100提升2.7倍，整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟，依托更大显存支持高批次处理，显著提升MoE模型推理效率。
DeepSeek 将 deepseek-reasoner 模型升级为 DeepSeek-R1-0528，推理能力显著增强，AIME 2025 得分从 70.0 升至 87.5，GPQA 从 71.5 升至 81.0。新版本优化了 Web 前端开发能力，并极大抑制了老版本 R1 的幻觉问题，同时支持 Json Output 与 Function Calling。
推荐理由：DeepSeek 把 R1 的推理能力又拉高了一大截，AIME 涨 17 分、Aider 涨 14 分，JSON Output 和 Function Calling 的加入让它在 agent 场景里更实用了，做复杂推理产品的人应该第一时间切过去试试。
Goodfire 宣布在 671B 参数的 DeepSeek R1 上训练了首批公开的稀疏自编码器（SAE），包括通用推理和数学各一个，并连同数据集开源，还提供 max activating examples 的 SQL 数据库和交互式 UMAP 特征可视化。
DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V3-0324，推理能力增强，MMLU-Pro 升至 81.2，AIME 升至 59.4。同时优化了 Web 前端开发、中文写作（对齐 R1 风格）、中文搜索及 Function Calling 准确率，并修复了此前问题。
推荐理由：这是 DeepSeek V3 发布后的一次重要版本更新，推理和代码能力提升显著，AIME 提升近 20 分，前端和中文写作体验优化，API 用户应该尽快切换。
Prime Intellect 发布 SYNTHETIC-1，一个由 DeepSeek-R1 生成、全球算力贡献者协作产生的 200 万条开源推理轨迹数据集，覆盖数学、代码和科学问答五类任务，并用任务专属验证器校验正确性。
ARC Prize 团队推出实验性基准 SnakeBench，用 2.8K 场 2v2 之外的 LLM 贪吃蛇对战测试 50 个模型的动态环境决策能力。o3-mini（ELO 1825）和 DeepSeek-R1（1801）居前二，推理模型合计赢下 78% 对局；榜单和代码开源，详见 https://arcprize.org/blog/snakebench。
ARC Prize 发布对 DeepSeek R1-Zero 和 R1 的分析，两者在 ARC-AGI-1 上分别得分 14% 和 15.8%，与 o1（低算力 20.5%）相当，而 o3-preview 低算力达 75.7%。
推荐理由：作者基于 ARC-AGI-1 实测数据比较 R1-Zero 与 o1/o3，提出纯 RL 训练可绕过人类标注瓶颈和推理经济学两个分析角度。
DeepSeek 推出新模型 DeepSeek-R1，可通过指定 model=deepseek-reasoner 调用。该模型为推理模型，详细更新与调用指南已分别发布。
推荐理由：R1 的 API 开放让开发者能直接调用推理能力，对需要深度思考的应用是个关键接入点，成本比同类更低。
DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V3，接口保持不变，用户可通过指定 model=deepseek-chat 直接调用。此次升级无需修改现有代码即可使用新模型能力。
DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V2.5-1210，各项能力提升。数学能力在 MATH-500 基准测试中从 74.8% 提升至 82.8%，代码能力在 LiveCodebench (08.01 - 12.01) 基准测试中从 29.2% 提升至 34.38%。新版本还优化了文件上传和网页总结功能的用户体验。
推荐理由：DeepSeek把deepseek-chat数学拉到82.8%，代码涨了5个点，做复杂推理的开发可以试试水，但这还是V2.5系列的常规升级，别当次代际跃迁。
SGLang v0.4版本正式发布，通过零开销批处理调度器将CPU调度与GPU计算重叠，吞吐量提升1.1倍，较其他基线快1.3倍。新版本引入缓存感知负载均衡器，预测KV缓存命中率，使吞吐量最高提升1.9倍，缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升，XGrammar结构化输出速度提升达10倍。
DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5，API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升，ArenaHard winrate 升至 76.3%，HumanEval 达 89%。
推荐理由：DeepSeek 把 coder 和 chat 合并成 V2.5，API 端点不变但性能全线拉高，已有的集成直接受益，代码和通用能力不再是两张皮。
SGLang v0.3 正式发布，实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化，采用权重吸收、FP8 量化等技术，在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持，可处理交错文本、多图像及视频输入，速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力，突破 4K 限制。
DeepSeek 更新 /chat/completions 接口，新增 JSON 输出、Function 调用、对话前缀续写（Beta）及 8K 最长输出（Beta）。同时新增 /completions 接口，支持 FIM 补全（Beta）。
推荐理由：DeepSeek API 这次更新补上了 Function calling 和 JSON 模式，加上 FIM 补全，让开发者的工具调用和代码补全场景有了更完整的方案，虽然都是 Beta 但方向很对。
DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新，具体参数规模、性能基准及可用性细节未在更新日志中披露。
推荐理由：DeepSeek Coder 升级到 V2-0724，编码能力再进一步，对 API 用户是直接可用的提升，虽然官方没给技术细节，但仍值得关注。
DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0614，代码生成、理解、修复和补全能力达到 GPT-4-Turbo-0409 水平，同时具备卓越的数学和推理能力。该版本通用能力与 DeepSeek-V2-0517 持平。
deepseek-chat 模型升级为 DeepSeek-V2-0517，IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%，API 端“system”区域指令跟随能力同步优化，增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升，内部测试集解析率从 78% 提高至 85%，引入恰当正则表达式后进一步升至 97%。
推荐理由：DeepSeek V2 的指令跟随从及格线拉到优秀线，IFEval 提升近 14 个点，沉浸式翻译和 RAG 体验会有明显改善，做应用层的值得试一下。