SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型，采用预填充-解码分离（PD）与大规模专家并行（EP）架构，结合Blackwell专用优化组件（DeepGEMM、DeepEP等），实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下，性能较H100提升2.7倍，整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟，依托更大显存支持高批次处理，显著提升MoE模型推理效率。
SGLang团队开源了基于96块H100 GPU（12节点×8卡）的DeepSeek推理系统实现，采用PD分离（Prefill-Decode Disaggregation）与大规模专家并行（EP）架构，集成DeepEP、DeepGEMM和EPLB完整功能，在2000 token输入序列下达成每节点每秒52.3k输入token和22.3k输出token的吞吐量。该方案较传统张量并行提升输出吞吐量5倍，将成本压缩至每百万输出token仅0.20美元，约为官方API价格的五分之一，是首个在开源实现中接近官方DeepSeek报告性能的大规模部署方案。
Prime Intellect 推出 SYNTHETIC-1，一个基于 DeepSeek-R1 生成的开源推理数据集，包含 140 万条任务与验证器，覆盖数学、编程、软件工程、STEM 和合成代码理解，并开放任何人贡献算力。
FireRedTeam 在 GitHub 发布 LayerDiffuse 的 Flux 版实现（LayerDiffuse-Flux），训练了适配 Flux 的透明 VAE 和 LoRA 微调，用于生成透明图像。
SGLang v0.4版本正式发布，通过零开销批处理调度器将CPU调度与GPU计算重叠，吞吐量提升1.1倍，较其他基线快1.3倍。新版本引入缓存感知负载均衡器，预测KV缓存命中率，使吞吐量最高提升1.9倍，缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升，XGrammar结构化输出速度提升达10倍。
英国 AI Security Institute 宣布推出 Inspect Evals，一个社区共建的 LLM 基准评测仓库，与 Arcadia Impact 和 Vector Institute 合作开发，提供数十个面向安全研究的开源评测，覆盖编码、数学、网络安全、防护、推理和通识等领域。
SGLang v0.3 正式发布，实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化，采用权重吸收、FP8 量化等技术，在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持，可处理交错文本、多图像及视频输入，速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力，突破 4K 限制。
FireRedTeam 发布 Target-Driven Distillation（TDD），一种一致性蒸馏方法，可让扩散模型仅用 4-8 步生成高细节图像，论文被 AAAI25 接收。核心设计包括目标时间步选择、解耦引导，以及可选的非等距采样和 x0 clipping；项目开源了 SDXL、FLUX.1-dev 的 LoRA 权重和训练/推理代码，并提供了与 LCM、PCM、TCD 的对比示例。
FireRedTeam 在 GitHub 发布可流式生成的语音合成系统 FireRedTTS-1S，提供预训练权重、推理代码和技术报告。支持零样本声音克隆，新增 flow matching 解码器可选，参考音频建议 3 到 10 秒，项目仅限学术研究用途。
LMSYS.org 推出 SGLang Runtime v0.2，一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中，该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量（Llama-70B 场景），并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度，核心调度器仅约 4000 行代码，已在 Chatbot Arena 等平台累计生成数万亿 token。
北京智源人工智能研究院 FlagOpen 开源 Awesome-Industry-Dataset 项目，对 31 个行业的开源数据集做全景扫描，覆盖文本、视觉和多模态数据集，并统计开源行业大模型现状。
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo，支持最高 128k tokens 上下文窗口，base 与 instruct 权重以 Apache 2.0 许可开源。
推荐理由：原文给出 12B 模型的上下文窗口、压缩效率与基准对比，并说明与 Mistral 7B 的替换关系，便于评估其在中小模型场景的可用性。
Mistral 发布 Mathstral 7B，基于 Mistral 7B 专攻 STEM 与复杂多步数学推理，属与 Project Numina 合作的学术项目。
SenseVoice 是一个语音理解基础模型，支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语，并输出情感与事件标签；采用非自回归端到端架构，同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由：官方仓库文档同时给出基准对比、部署路径和微调方案，读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。
英国 AI Security Institute 宣布开源其大语言模型评测框架 Inspect。该框架提供提示工程、工具使用、多轮对话和模型评分评测等功能，发布于 2024 年 4 月 21 日。
Mistral 发布开源稀疏混合专家模型 Mixtral 8x22B，总参数 141B，仅激活 39B，上下文窗口 64K tokens，以 Apache 2.0 许可证开放。模型支持英语、法语、意大利语、德语和西班牙语，具备原生函数调用能力，指令版在 GSM8K maj@8 得分 90.8%，Math maj@4 得分 44.6%，现已在 la Plateforme 上提供。
推荐理由：官方发布原文给出了活跃参数、上下文窗口、许可证和基准成绩，读者可以据此评估它在开源模型中的成本与性能定位。
xAI 宣布开源 Grok-1 模型权重，采用 Apache 2.0 协议。该模型拥有 3140 亿参数，基于 MoE 架构，是迄今参数量最大的开源大模型之一。权重已上传至 GitHub 和 Hugging Face，可自由下载用于本地部署与商用。
METR 发布 Task Standard，提供定义 AI 智能体能力评测任务的通用方式，已用于涵盖 AI R&D、网络安全、通用自主能力等领域的 1000 多个任务，英国 AI Safety Institute 等机构也在使用。
SGLang团队提出Jump-Forward Decoding算法，通过压缩有限状态机中的单一路径，将多token预填充合并为单步执行，突破传统方法逐token解码的限制。该技术兼容任意正则表达式与JSON/YAML schema，相比guidance+llama.cpp和outlines+vLLM等现有方案，延迟降低2倍，吞吐量提升2.5倍，使约束解码速度超越普通解码。
研究团队发布 SGLang 结构化生成语言及后端技术 RadixAttention，通过基数树数据结构自动管理并重用 KV 缓存，显著减少多轮生成调用中的冗余计算。在 NVIDIA A10G GPU 上运行 Llama-7B 和 Mixtral-8x7B 模型的测试显示，该系统吞吐量较 Guidance 和 vLLM 等现有系统提升最高达 5 倍。前端提供嵌入 Python 的领域特定语言，支持解释器与编译器双模式执行，有效提升复杂 LLM 程序的编程与执行效率。
第三届新英格兰 RLHF Hackers 黑客松近期举办，集中展示了多个聚焦机器学习与强化学习不同领域的创新项目。重点项目 Pink Elephants Pt 3 采用 ILQL（Inverse Learning from Q-learning）方法，基于标准 trlX 实现框架训练粉色大象模型。主办方鼓励参与者加入 Discord 社区，以获取未来活动更新与更多技术资讯。
S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。
FlagOpen 开源 FlagEmbedding 项目，提供面向搜索和 RAG 的 BGE 一站式检索工具包，含 Embedder、Reranker 的推理、微调与评测，采用 MIT 许可证。
Minetester 是一个基于开源游戏 Minetest 构建的完全开放强化学习（RL）环境。该项目概述了 Minetest 平台的技术架构及早期开发工作，为研究人员提供了一个代码完全开放、可自由修改的 AI 训练与测试平台，填补了现有 Minecraft 类 RL 环境在开放性方面的空白。
Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计，结果证实该库安全可靠，具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布，相关博客文章将进一步阐述该库的技术背景与后续实施计划。
OpenAI 发布 Triton 1.0，一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家手写代码相当。
推荐理由：官方发布口径直接点明了 Triton 的核心价值，让无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Mistral 发布 Leanstral，据称是首个面向 Lean 4 的开源代码智能体，权重以 Apache 2.0 许可开放，并提供 Mistral Vibe 集成与 labs-leanstral-2603 免费 API 端点。
OpenAI 发布强化学习游戏研究平台 Gym Retro 的完整版，公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到涵盖多种模拟器的超过 1000 款游戏，同时开源了用于向平台添加新游戏的工具。
OpenAI 开源 RL-Teacher，这是其通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口的开源实现。该技术最初作为迈向安全 AI 系统的一步而开发，也适用于奖励难以指定的强化学习问题。
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布 DQN 及其三个变体，其余算法将在未来数月内陆续放出。
OpenAI 发布 Roboschool，一款用于机器人仿真的开源软件，并已集成到 OpenAI Gym 中。