跳到正文
  1. Liquid AI 模型与工程博客68

    Liquid AI 发布 LFM3 多模态开源权重模型家族,2B 级覆盖文本、视觉、音频、omni 和决策模型

    Liquid AI 发布新一代 LFM3 模型家族,以 LFM3-1.7B-Base 为共享骨干,首批开放六个 2B 级模型(文本、视觉、音频、omni 及两个决策模型)的开放权重,可在 Hugging Face、Playground 和 Liquid AI API 获取。

    推荐理由:原文给出 LFM3 各模型的具体架构、基准和端侧性能数据,读者可以据此评估小参数量多模态模型在本地方案中的可行性。

  1. Black Forest Labs:Blog77

    Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein(5.6B)

    Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。

    推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。

  2. NVIDIA Blog71

    NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型

    NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。

    推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。

  1. Liquid AI 模型与工程博客63

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    Liquid AI 发布开源权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活 2B,定位端侧快速智能体。

    推荐理由:原文给出完整基准对比、端侧推理速度和开源权重入口,读者可据此评估该模型在本地智能体场景的适用性。

  1. 公众号:面壁智能68

    面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行

    面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。

    推荐理由:原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节,读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。

  1. Liquid AI 模型与工程博客61

    Liquid AI 发布开源决策模型 d1-3B 和 d1-omni-600M

    Liquid AI 发布开源权重决策模型 d1-3B 和 d1-omni-600M,已在 Hugging Face 上提供。

    推荐理由:官方公开了模型架构、训练细节和各硬件延迟数据,读者可以据此评估小参数决策模型在边缘部署中的取舍。

  1. Google DeepMind:Blog70

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,以 Apache 2.0 许可开源,将文本、代码、图像、视频和音频映射到统一嵌入空间。

    推荐理由:官方发布给出参数量、内存占用、维度裁剪和基准分数等具体细节,读者可据此评估端侧多模态嵌入方案的可行性。

  1. Unsloth AI81

    Unsloth 推出 Qwen3.8-Flash-Next 的 GGUF 量化版本,称该 125B MoE 多模态模型性能超过 Claude-Opus-4.6 (Max),可在 75GB RAM 上本地运行,无需 GPU VRAM。

    引用Qwen@Alibaba_Qwen

    ⚡️认识一下 Qwen3.8-Flash,一个多模态 MoE 模型,也是 Qwen4 架构的早期预览版,现已开放权重! 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供,价格仅为每 100 万输入 token 0.16 美元,每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入,每个 token 仅激活 6B 参数。性价比无与伦比。 新特性:🥳 - 下一代架构:GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器,作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低:训练成本仅为 Qwen3.7-Plus 的 1/9,同时在各方面表现均优于后者,在编程和办公任务上尤其突出。 - 性能强劲:在 DeepSWE 1.1 上得分 58.7,在 SWE-bench Pro 上得分 62.5,在 CoWorkBench 上得分 73.9,在 AndroidWorld 上得分 84.5,在 MathVision(带 CI)上得分 95.7。 - 原生 262K 上下文,可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重,让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么!👀👇 - 博客:https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告:https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face:https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope:https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next

    推荐理由:原文给出了本地运行所需的内存档位与量化精度权衡,读者可据此判断自己的设备能否跑动这个 MoE 模型。

  2. 公众号:腾讯混元67

    腾讯混元将端侧翻译模型 Hy-MT2-1.8B 压缩至 440MB,已落地哔哩哔哩直播弹幕翻译

    腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB,翻译质量几乎无损,在 FLORES-200 上优于 Microsoft Translator 等商业 API。该模型已联合英特尔完成 x86 适配,并在哔哩哔哩直播弹幕实时翻译中落地,单条弹幕翻译耗时 500~800ms。

    推荐理由:相比精度数字,这套量化给出 x86 优化和直播弹幕实测数据,让端侧替代云翻译 API 的成本与隐私权衡有了可对照的工程基线。

  1. Hugging Face 社区博客64

    Liquid AI 发布 LFM2.5 系列 QAD Q4_0 量化检查点,恢复 97% 精度损失

    Liquid AI 发布基于量化感知蒸馏(QAD)训练的 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 四款 Q4_0 GGUF 检查点,在保持原生 Q4_0 内存与速度的同时,恢复 BF16 平均精度损失的 97%。

    推荐理由:QAD 量化蒸馏恢复 Q4_0 模型九成六以上 BF16 精度,对应树莓派和手机等边缘设备,在保持低内存与高吞吐的同时缩小与全精度模型的差距。

  1. Unsloth AI76

    Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本,4-bit 量化可在 17-19GB 内存设备上本地运行,并同时上传 NVFP4 量化。

    引用Qwen@Alibaba_Qwen

    我们承诺过开源 Qwen3.8 的模型权重。现在,是时候见面了!🎉 ⚡ Qwen3.8-27B: - 一款原生多模态稠密模型。仅凭 27B 参数,综合表现超越 Qwen3.7-Plus,在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文,可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量,并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B(Max 级别)的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用,还是用 Qwen3.8-2.4T-A95B 构建智能体,它们现在都属于你了! 下载、部署,去构建我们尚未想象到的东西吧。👀👇 - Hugging Face: https://huggingface.co/collections/Qwen/qwen38 - ModelScope: https://www.modelscope.cn/collections/Qwen/Qwen38

    推荐理由:原文给出了本地运行的具体内存门槛、量化版本和硬件对照表,读者可以据此判断能否在自己的设备上跑通这个 27B 模型。

  1. Liquid AI 模型与工程博客67

    Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型

    Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型,屏幕理解 ScreenSpot-v2 平均 80.7,ToolSandbox 从 26.4 升至 59.5,RefCOCO 从 57.1 升至 87.9。

    推荐理由:官方给出与更大模型对比的基准数据和端侧、GPU 实测速度,读者可据此评估它在边缘部署场景的适用性。

  1. NVIDIA Blog76

    NVIDIA 推出 Nemotron 3.5 Lightning,加速本地智能体任务

    NVIDIA 发布 Nemotron 3.5 Lightning,一款可定制的开源 30B 混合专家(MoE)模型,专为常驻智能体设计。相比同类开源模型,其 token 生成速度最高提升 4 倍,任务完成时间缩短 30%。该模型采用开放权重,支持用户微调以匹配特定任务,并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。

    推荐理由:本地运行 30B MoE 模型并声称 4 倍加速,与开源路由器结合可自动分配任务到最合适模型,给控制推理成本提供了新路径。

  2. 公众号:蚂蚁百灵75

    Ling-3.0-tiny 正式开源:1.3B 激活参数如何进入真实任务

    蚂蚁百灵开源 Ling-3.0-tiny,一款总参数 7.9B、每 Token 仅激活 1.3B 参数的原生混合推理模型,同步提供 BF16、FP8 和 INT4 三个版本。

    推荐理由:1.3B 激活参数在 Mac 上实测首 Token 低于 100 毫秒,比只看参数量的轻量叙事更有参考价值,端侧 Agent 的落地边界因此更具体。

  3. 公众号:蚂蚁百灵72

    Ling-3.0-tiny 正式开源:1.3B 激活参数如何进入真实任务

    蚂蚁百灵开源 Ling-3.0-tiny,一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型,同步提供 BF16、FP8 和 INT4 三个版本。

    推荐理由:以1.3B激活参数取得接近4B激活模型的综合能力,同时Agent分数超越部分30B+模型,多精度开源和本地部署方案让轻量Agent应用更易落地。

  4. 蚂蚁百灵:Developer Blog66

    蚂蚁百灵开源 Ling-3.0-tiny:7.9B 总参数、每 Token 激活 1.3B

    蚂蚁百灵正式开源 Ling-3.0-tiny,总参数 7.9B,每 Token 仅激活 1.3B,同步提供 BF16、FP8 和 INT4 三个版本。

    推荐理由:官方给出了综合指数与实测数据,读者可以据此评估这款轻量模型在端侧部署和本地 Agent 场景的可用性。

  1. LMSYS Blog72

    SGLang 为 Muse Glimmer 提供 Day-0 支持,针对本地智能体工作流优化推理

    SGLang 与 Meta Superintelligence Labs 合作,为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持,该模型拥有 128k+ token 上下文窗口。

    推荐理由:SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度,本地智能体工作流不再受限于云端延迟。

  2. Unsloth AI72

    Meta 开源 30B 参数密集模型 Muse Glimmer,Apache 2.0 许可,支持视觉,可在 18GB RAM/VRAM 环境本地运行,定位于本地智能体与编码工作流。

    引用Mark Zuckerberg@finkd

    今天我们还将开放 Muse Glimmer 的权重,这是一个出色的 30B 参数稠密模型,可以在本地运行。很快我们还会发布 Muse Spark 1.2 的权重,这是我们最新的基础模型。Meta 是开源的有力支持者,我为这些发布感到自豪。祝贺 @alexandr_wang 和 MSL 团队在这些模型上所做的出色工作。

    推荐理由:Meta 开源 30B 密集视觉模型,18GB 内存可本地运行,作者还提供了 GGUF 和运行训练指南,方便直接上手。

  1. Liquid AI 模型与工程博客70

    Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

    Liquid AI 发布 LFM2.5-2.6B,一个可完全在设备端运行的 2.6B 参数智能体模型,预训练约 34T tokens,词表扩展至 128K,Base 和 post-trained 权重已在 Hugging Face 开放。

    推荐理由:原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字,读者可以据此评估端侧智能体部署的可行性与取舍。