A 1.2GB model on a Mac read Anthropic's whole IPO 📄 @OpenBMB MiniCPM-OCR 1.0 went through all 415 pages of Anthropic's S-1 on an M5 Max MacBook at about 4 seconds a page and nothing ever left the laptop GGUFs -> https://huggingface.co/AtomicChat/MiniCPM-OCR-1.0-GGUF
#端侧
OpenBMB@OpenBMBAI 评分5555引用atomic.chat@atomic_chat_hqMarkTechPostAI 评分7070 Liquid AI 发布 LFM3:6 个开源权重 2B 级多模态模型
Liquid AI 发布 LFM3 系列共 6 个开源权重 2B 级模型,基于同一 tri-hybrid 骨干覆盖文本、视觉、音频、omni 和决策任务。
Hugging Face 社区博客AI 评分6969 Liquid AI 发布 LFM3 系列:一个 1.7B 底座衍生六个 2B 级多模态模型
Liquid AI 在 Hugging Face 发布 LFM3 系列,以 LFM3-1.7B-Base 为共享底座,提供文本、视觉、音频、全模态和决策共六个 2B 级模型,均开放权重。
Rohan Paul@rohanpaul_aiAI 评分6262引用Liquid AI@liquidaiIntroducing 𝙻𝙵𝙼𝟹: our new generation of Liquid Foundation Models. With a new tri-hybrid architecture and new multimodal encoders, the LFM3 family is the ideal model suite for specialized intelligence. > 6 model instances, across text, audio, vision, and omni modalities, generative and decision models. > 𝙻𝙵𝙼𝟹-𝟷.𝟽𝙱: text, 256k context window. > 𝙻𝙵𝙼𝟹-𝚅𝙻-𝟸𝙱: vision-language model with video-input support for spatial understanding > 𝙻𝙵𝙼𝟹-𝙰𝚞𝚍𝚒𝚘-𝟸𝙱: tool calls, voice chat, reasoning in 18 languages. > 𝙻𝙵𝙼𝟹-𝙾𝚖𝚗𝚒-𝟸𝙱: an omni model combines vision, audio, and language. > 𝚍𝟷-𝟸𝙱 and 𝚍𝟷-𝙾𝚖𝚗𝚒-𝟸𝙱: decision models with typed outputs and calibrated probabilities in a single pass. Omni adds audio input. > fine-tune on 1 GPU. > a new tri-hybrid architecture > architecture optimized for 14 processor classes across GPUs, CPUs, and NPUs. > 𝙻𝙵𝙼𝟹-𝚅𝙻-𝟸𝙱 is a beast. It performs competitively with Gemma 4 12B (6x larger), and Gemini 3.5 Flash Lite, and GPT-5.6 Luna, with 1.9B parameters. > 𝙻𝙵𝙼𝟹-𝟷.𝟽𝙱 is #1 on the Pareto frontier of device intelligence 𝚙𝚒𝚙𝚎𝚝𝚝𝚎.𝚕𝚒𝚚𝚞𝚒𝚍.𝚊𝚒 Every modality for specialized intelligence. Pick the one that fits your use case, customize it, and run it on-device. 1/ 🧵
Liquid AI 模型与工程博客精选AI 评分6868 Liquid AI 发布 LFM3 多模态开源权重模型家族,2B 级覆盖文本、视觉、音频、omni 和决策模型
Liquid AI 发布新一代 LFM3 模型家族,以 LFM3-1.7B-Base 为共享骨干,首批开放六个 2B 级模型(文本、视觉、音频、omni 及两个决策模型)的开放权重,可在 Hugging Face、Playground 和 Liquid AI API 获取。
推荐理由:原文给出 LFM3 各模型的具体架构、基准和端侧性能数据,读者可以据此评估小参数量多模态模型在本地方案中的可行性。
IT之家·人工智能AI 评分5757 Block 发布全双工语音模型 Dessa,支持 M4 Max 及以上 MacBook 本地运行
Jack Dorsey 旗下 Block 公司推出全双工语音模型 Dessa,可边说话边收听用户语音,能模拟笑声、停顿、哽咽等情绪表达,完全基于人类语音数据训练,知识来自训练对话数据而无需搭配大语言模型。
MarkTechPostAI 评分6666 NVIDIA 发布开源小模型 Nemotron 3.5 Bolt E4B 4GB,面向本地语音助手、游戏角色和机器人
NVIDIA 发布开源小语言模型 Nemotron 3.5 Bolt E4B 4GB,基于 Google 的 Gemma 4 E4B 仅用强化学习做后训练、不用 SFT,面向 RTX、Jetson 和 DGX Spark 等本地硬件上的语音助手、游戏 NPC 和机器人。
The Decoder:AI NewsAI 评分6868 Recursive 发布首个自动化研究产出的开源模型 Flint
AI 初创公司 Recursive 发布首个由 AI 系统 Eureka Machine 全程参与实验设计的开源语言模型 Flint,为面向本地智能体编码的 MoE 模型,总参数 40B、每 token 激活 2.5B,开发历时四个月。
IT之家·人工智能AI 评分6666 讯飞星火 X2.6 端云一体大模型发布,首次基于全国产算力实现代码和智能体能力突破
科大讯飞在全球 1024 开发者节发布讯飞星火 X2.6 端云一体大模型,宣称首次基于全国产算力实现代码和智能体能力突破。模型采用 293B-A30B 参数的 MoE 架构,上下文长度拓展至 1M,输入限时 0.9 元/百万 tokens,输出限时 3.6 元/百万 tokens;同时开源星火 X2.6-4B 端侧模型,新增三档推理模式,推理定价限时免费。
TechCrunch:AIAI 评分7171 Recursive 发布可在笔记本运行的编程模型 Flint,宣称主要由 AI 打造
AI 创业公司 Recursive 周三发布免费编程模型 Flint,可在笔记本上运行,公司称其自动化研究系统 Eureka Machine 参与了从预训练到后训练和推理的几乎全部开发环节,小团队不到四个月从零完成。
Rohan Paul@rohanpaul_aiAI 评分6464引用Richard Socher@RichardSocherIntroducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.
TechCrunch:AIAI 评分6363 Nvidia 发布 Nemotron 3.5 开源模型,面向企业 Agent 与本地 PC
Nvidia 于周四发布面向常驻 Agent 和边缘计算的开源模型。
Aravind Srinivas@AravSrinivasAI 评分4040Perplexity Decider Flash 相当不错,运行速度极快,还能在你的 M4 Mac 16GB 上端侧运行。
引用Wolfram Ravenwolf@WolframRvnwlfPerplexity Flash takes the crown! ⚡ In our tests, it matched Wald's accuracy at nearly twice the speed on a 16 GB Mac mini. Synthetic agent decisions, real email threads, prompt injections: see why Flash is our new pick for email-completion checks. 👇 https://x.com/i/article/2111461650440110080
IT之家·人工智能AI 评分5757 PrismML 发布 Ternary Bonsai 2 系列模型,iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元
PrismML 于 10 月 15 日发布 Ternary Bonsai 2 系列模型,含 2B、4B、9B 三种规模,基于 Qwen 3.5 基座,采用 -1、0、+1 三元权重表示,存储占用分别约 0.43GB、0.95GB 和 2GB,目标在手机、PC 和可穿戴设备上本地运行智能体。
Artificial Analysis@ArtificialAnlysAI 评分5959
NVIDIA Blog精选AI 评分7171 NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型
NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。
推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。
Black Forest Labs:Blog精选AI 评分7777 Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein(5.6B)
Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。
推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。
IT之家·人工智能AI 评分6767 英伟达发布 1200 亿参数开源多模态模型 Nemotron 3.5 Super VL,单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达发布开放多模态模型 Nemotron 3.5 Super VL,采用 MoE 架构,总参数 1200 亿、激活 120 亿,将推理、工具调用与文本、图像、文档及视频理解整合,官方称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍。
OpenBMB@OpenBMBAI 评分6060引用ModelScope@ModelScope2022MiniCPM-V 4.7 is now open source on ModelScope: a 35B-A3B MoE multimodal model built to run on-device without compromising performance. Apache 2.0. 🤖 https://modelscope.ai/collections/OpenBMB/MiniCPM-V-47 📱 First open-source MoE with smooth, lossless on-device inference, running at 13+ tokens/s on iPhone 17 Pro Max. 🔥 New Pareto frontier: in Instruct mode, it reaches a higher overall score in less inference time than Qwen3.6 35B-A3B. ⚡ Mixed 4x/16x visual token compression lets developers balance visual detail and inference cost per task. 🛠️ Two sizes (35B-A3B and 1B) with FP8, GPTQ, AWQ, BNB, and GGUF variants. Works with SGLang, vLLM, llama.cpp, Ollama, SWIFT, and LLaMA-Factory. 💻 Runs on iOS, Android, and HarmonyOS, with day-0 support for Rockchip, Houmo, Intel, AMD, and Arm.
MarkTechPostAI 评分6262 Liquid AI 发布 LFM2.5-24B-A2B:面向端侧 Agent 的 2B 激活 MoE 推理模型
Liquid AI 发布开源权重推理模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活约 2.45B,上下文 131,072 tokens,专为笔记本和迷你 PC 上的多步工具调用 Agent 设计,在 Apple M5 Max 上通过 llama.cpp Q4_K_M 达到 184 tok/s。
Hugging Face 社区博客AI 评分6262 Liquid AI 发布 LFM2.5-24B-A2B:面向快速端侧智能体的 24B MoE 推理模型
Liquid AI 发布开源权重推理模型 LFM2.5-24B-A2B,总参数 24B、每 token 仅 2B 激活,专为在设备上快速、私密地运行智能体设计。
Liquid AI 模型与工程博客精选AI 评分6363 Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型
Liquid AI 发布开源权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活 2B,定位端侧快速智能体。
推荐理由:原文给出完整基准对比、端侧推理速度和开源权重入口,读者可据此评估该模型在本地智能体场景的适用性。
OpenBMB@OpenBMBAI 评分6464OpenBMB(面壁智能)发布 MiniCPM-V 4.7,35B-A3B MoE 多模态模型在手机上仅需 3GB 内存运行,可识读现实场景标识、按约束规划、解析复杂文档并对视觉数据进行推理。

公众号:面壁智能精选AI 评分6868 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行
面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。
推荐理由:原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节,读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。
OpenBMB@OpenBMBAI 评分5959引用Adina Yakup@AdinaYakupLet's start the week with MiniCPM V4.7 from @OpenBMB 🔥 ✨ 35B-A3B: On-device MoE - 35B/ 3B active ⚡️ - 13+ tok/s on iPhone 17 Pro Max with ~3GB RAM - Outperforms Qwen3.6 35B-A3B in overall score AND inference time ✨1B: Ultra-lightweight VLM - Outperforms Qwen3.5 0.8B in BOTH performance & efficiency ✨ Both support: - Image, multi-image & video understanding - Efficient 4×/16× visual token compression - iOS, Android & HarmonyOS - Apache 2.0
IT之家·人工智能AI 评分6161 面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,3GB 内存可跑 13+ token/s
面壁智能于 10 月 13 日推出端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 两种规格,其中 35B-A3B 是该系列首个 MoE 模型,基于 LES 推理加速技术,在 iPhone 17 Pro Max 上以仅 3GB 内存实现 13+ token/s 解码速度。
OpenBMB@OpenBMBAI 评分6363面壁智能 OpenBMB 发布开源多模态模型系列 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个型号。
IT之家·人工智能AI 评分4747 Underdog AI 发布 Saluki 27B:2-bit 量化 Qwen3.8-27B,仅 7.89GB
Underdog AI 发布 Saluki 27B 模型,这是 Qwen3.8-27B 的 2-bit 量化调优版本,仅保留文字 I/O 能力,文件大小 7.89 GB。
MarkTechPostAI 评分6060 Conway Research 发布 2-bit 量化版 Saluki 27B,7.89 GB 工具调用反超原版 Qwen3.8-27B
Conway Research 旗下 Underdog 以 Apache 2.0 发布 Saluki 27B,一个 2-bit 混合精度 GGUF 量化版 Qwen3.8-27B,文件从 54 GB 压到 7.89 GB,可在原版 llama.cpp 运行。
IT之家·人工智能AI 评分5656 Liquid AI 开源 d1 系列决策模型:d1-3B 单次判断仅 8 毫秒,支持图像输入
Liquid AI 于 10 月 7 日发布博文,推出开放权重决策模型 d1-3B(31.2 亿参数,支持文本与图像输入)和 d1-omni-600M(5.87 亿参数,支持文本、图像及语音输入),已在 Hugging Face 公开,可下载、微调并部署。
MarkTechPostAI 评分6363 Liquid AI 发布开源权重 d1-3B 和 d1-omni-600M 多模态决策模型,零输出 token 返回概率答案
Liquid AI 发布 Open d1 系列两款开源权重多模态决策模型,单次前向返回校准概率答案,output_tokens 为 0。
Hugging Face 社区博客AI 评分5656 Liquid AI 发布开源 d1 决策模型 d1-3B 与 d1-omni-600M
Liquid AI 在 Hugging Face 发布两款开放权重 d1 决策模型:d1-3B 和实验性的 d1-omni-600M。
Liquid AI 模型与工程博客精选AI 评分6161 Liquid AI 发布开源决策模型 d1-3B 和 d1-omni-600M
Liquid AI 发布开源权重决策模型 d1-3B 和 d1-omni-600M,已在 Hugging Face 上提供。
推荐理由:官方公开了模型架构、训练细节和各硬件延迟数据,读者可以据此评估小参数决策模型在边缘部署中的取舍。
IT之家·人工智能AI 评分6565 谷歌发布 EmbeddingGemma 2 多模态嵌入模型:7.4 亿参数,量化后手机端仅需 191MB 内存
谷歌发布 EmbeddingGemma 2 嵌入模型,基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,将能力从文本扩展到代码、图像、视频、音频并统一映射到同一嵌入空间。
Rohan Paul@rohanpaul_aiAI 评分6767Google 发布 EmbeddingGemma 2,是其首个原生多模态开放嵌入模型,将文本、代码、图像、音频和视频统一到一个共享空间,采用 Apache 2.0 许可证。
引用Google DeepMind@GoogleDeepMindMeet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings. It expands beyond text to unify code, images, audio, and video in a shared space. 🧵
Google DeepMind:Blog精选AI 评分7070 Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2
Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,以 Apache 2.0 许可开源,将文本、代码、图像、视频和音频映射到统一嵌入空间。
推荐理由:官方发布给出参数量、内存占用、维度裁剪和基准分数等具体细节,读者可据此评估端侧多模态嵌入方案的可行性。