蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
推荐理由:原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
推荐理由:原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,基于 Google 的 TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务。
推荐理由:原文给出 SGLang 服务栈在 TPU 上的原生 PyTorch 方案、支持模型清单和已验证的 RL 训练闭环,读者可据此评估 TPU 部署选型。
AWS 宣布推出 TorchNeuron,一个面向 Trainium 的开源原生 PyTorch 后端,10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由:原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据,开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
Reflection 发布首个开源权重模型 Beam,权重已在 Hugging Face 以 Apache 2.0 协议放出。Beam 为稀疏 MoE 模型,总参数 501B、激活 23B,面向编码、推理和长程智能体任务,提供 BF16、FP8、NVFP4 精度权重和投机解码 drafter 模型。
推荐理由:原文给出权重、精度格式、生态支持与自托管路径等具体信息,可据此评估落地与选型。
Meta 开放 Muse Spark Open 权重,模型上线 Baseten Model APIs 和 Dedicated Inference。
推荐理由:原文给出模型规格、为 coding agent 设计的 MoE 与混合注意力架构细节,以及在 Baseten 的部署方式,便于评估实际接入成本。
蚂蚁百灵正式开源 Ling-3.1-flash,权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文;经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB,Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由:官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测,便于评估自部署可行性。
Google AI Edge 团队以 Apache 2.0 许可开源 ML Drift,一个跨平台端侧 GPU 推理计算引擎,作为 LiteRT 的核心 GPU 加速层。
推荐理由:原文给出跨平台 GPU 推理引擎的架构升级、性能数据和生产落地案例,端侧 AI 开发者可据此评估迁移路径。
Ai2 开源 AstaBrief 8B,一个基于 Qwen3-8B、将研究问题和检索文献片段转化为带引用报告的科学报告生成模型,现已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,并连同训练数据开放下载。
推荐理由:原文给出训练数据构成、过滤方法与速度成本对比,读者可据此判断开源科学报告模型的具体做法是否可迁移。
GitHub Security Lab 的 Antonio Morales 开源了基于 Taskflow Agent 的 Fuzzing Taskflow,指向 GitHub 仓库即可自动识别入口点、编写 harness、运行 AFL++、读取覆盖报告并分诊崩溃。
推荐理由:作者开源了完整的自主模糊测试流水线,并讲清覆盖反馈、结构感知和崩溃分诊的设计取舍,C/C++ 维护者可直接复用。
小米于 12 月 16 日发布并开源 MiMo-V2-Flash,一款 309B 总参数、15B 激活参数的 MoE 基础语言模型,权重以 MIT 许可上传 Hugging Face。
推荐理由:官方完整披露了架构、MTP 推理加速与 MOPD 训练范式细节和基准成绩,可据此评估其性价比与部署可行性。
蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。
推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。
Berkeley RDI 推出开源平台 CUA-Lite,为计算机使用智能体提供三个标准化抽象。其环境接口下运行 15+ 个覆盖桌面、浏览器和移动端的基准,并提供含 30k+ 可验证任务的免 VM 桌面沙箱;统一监督数据格式已转换 10+ 个公开 CUA 数据集;每模型一个 harness 在评测、SFT 和 RL 间共享,支持 14 个模型族。
推荐理由:原文说明了平台的三项标准化抽象及覆盖规模,读者可以据此评估它在整合分散的计算机使用智能体资源上的可用性。
蚂蚁百灵正式开源 Ling-3.0-tiny-base(总参数 7.9B,激活 1.3B)与 Ling-3.0-flash-base(总参数 124B,激活 5.1B)两个基座模型,并同步开放预训练、中期训练和 WSM 合并阶段共 6 个 checkpoints。
推荐理由:开源的不只是最终 Base checkpoint,还包括预训练和中期训练共 6 个权重,并解释了无学习率衰减的 WSM 合并方案如何利于持续预训练。
蚂蚁集团 inclusionAI 开源 ConceptEdit,一个基于概念缩放与密集监督的图像编辑数据生成管线。该管线通过三阶段流程(VLM 生成指令、FLUX 执行编辑、VQA 评估筛选)构建大规模、基于分类法的图像编辑数据集,并提供单概念与多概念两种变体。项目采用 MIT 许可证,支持断点续跑,需 OpenAI 兼容 VLM 端点与本地 FLUX 检查点。
推荐理由:流水线把图像编辑数据生成拆为指令生成、FLUX 编辑、VLM 评判三步,多概念版本将多个并行编辑合并为一条指令并支持断点续跑,为构建带质检的编辑训练数据提供可复用框架。
蚂蚁百灵正式开源 Ling-3.0-tiny,总参数 7.9B,每 Token 仅激活 1.3B,同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由:官方给出了综合指数与实测数据,读者可以据此评估这款轻量模型在端侧部署和本地 Agent 场景的可用性。
蚂蚁百灵正式开源原生混合推理模型 Ling-3.0-flash,采用 124B 总参数、5.1B 激活参数的 MoE 架构,同步提供基础版及 FP8、FP4、INT4 多个精度版本。
推荐理由:官方开源公告给出了参数规模、多精度版本和三类部署路径的具体数据,读者可据此评估接入方式与适用场景。
推荐理由:OpenAI Codex团队把代码安全扫描做成开源CLI和SDK,直接能跑在CI里,对在意AI生成代码安全的开发者来说,算是个实用工具,不妨一试。
蚂蚁 inclusionAI 开源自管多模型深度研究系统 PanelWise,多个研究 agent 独立检索撰写后经分析与合成生成最终结果。在 100 任务历史实验中,前沿组合得 73.68,超过当时记录的 OpenRouter Fusion 68.3;budget 组合得 66.42,成本约 $1.31/题,约为外部估计 $7/题的 19%。
推荐理由:其价值不在分数本身,而在公开了完整管线与实验中已知的协议差异,为复现和公平对比提供了可操作的起点。
NVIDIA 宣布开源 Medical Physics Simulation 框架,这是 Isaac for Healthcare 中首个 GPU 加速的医疗物理仿真能力。该框架可并行运行 8,192 个机器人训练环境,将训练时间从超过 5 小时缩短至不到 2 分钟。CMR Surgical、Johnson & Johnson MedTech 等机构已在使用该框架。
推荐理由:首个 GPU 加速的开源医疗物理仿真框架,能把数千个训练环境并行跑,把训练从五小时压到两分钟,做手术机器人的团队可以直接拿来用,但对通用 AI 从业者影响不大。
Cursor 测试了新型 AI 智能体集群,将任务分解为规划者(使用最强模型)和执行者(使用快速廉价模型)。使用 Grok 4.5 时,新集群在 4 小时内通过了 80% 的 SQL 测试套件,而旧集群在第二小时前失败。该系统已用于构建浏览器、修复漏洞和生成数十亿 token 合成训练数据。
推荐理由:Cursor首次公开agent swarm的内部架构和协调失败模式,把835页规格文档变成可运行的SQLite数据库并开源,对做AI编程工具的团队和agent架构师来说,这些细节是金矿。