技术方向
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
181 条精选近 30 天 23 条共收录 1,921 条
斯坦福大学与Together AI研究显示，本地AI模型在超百万条真实查询中，对89%的日常聊天与推理问题的回答质量已不输云端前沿模型。本地模型对前沿模型的胜/平率从2023年的23.2%升至2025年的71.3%，智能每瓦特效率同期提升5.3倍。相比全云端方案，本地模型加路由器的组合可降低80%能耗、77%算力与74%成本，但云端在多步推理与高难度领域仍具优势。
推荐理由：作者借 Koomey 定律类比，把本地模型与云端效率数据放进历史框架，帮助读者理解端侧 AI 的演进节奏。
Hao AI Lab@haoailab精选AI 评分7171
推荐理由：在Apple Silicon本地生成视频，把云端视频生成的计算依赖降到了消费级硬件，为需要数据隐私或低成本原型创作的工作流提供了替代路径。
Liquid AI 发布基于量化感知蒸馏（QAD）训练的 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 四款 Q4_0 GGUF 检查点，在保持原生 Q4_0 内存与速度的同时，恢复 BF16 平均精度损失的 97%。
推荐理由：QAD 量化蒸馏恢复 Q4_0 模型九成六以上 BF16 精度，对应树莓派和手机等边缘设备，在保持低内存与高吞吐的同时缩小与全精度模型的差距。
本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首，超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中，它与云端 DeepSeek V4 输出质量同为 8.0 分，但需多花 7.2 倍 token 思考，速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距，而非直接给出答案。
推荐理由：作者用同一套 VC 任务实测云端与本地模型，给出质量、速度与思考 token 的具体数据，展示小模型靠推理补知识差距的路径。
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。
Unsloth AI@UnslothAI精选AI 评分7676Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本，4-bit 量化可在 17-19GB 内存设备上本地运行，并同时上传 NVFP4 量化。
我们承诺过开源 Qwen3.8 的模型权重。现在，是时候见面了！🎉 ⚡ Qwen3.8-27B： - 一款原生多模态稠密模型。仅凭 27B 参数，综合表现超越 Qwen3.7-Plus，在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文，可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量，并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B（Max 级别）的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用，还是用 Qwen3.8-2.4T-A95B 构建智能体，它们现在都属于你了！ 下载、部署，去构建我们尚未想象到的东西吧。👀👇 - Hugging Face： https://huggingface.co/collections/Qwen/qwen38 - ModelScope： https://www.modelscope.cn/collections/Qwen/Qwen38
推荐理由：原文给出了本地运行的具体内存门槛、量化版本和硬件对照表，读者可以据此判断能否在自己的设备上跑通这个 27B 模型。
Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。
推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、每 Token 仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：1.3B 激活参数在 Mac 上实测首 Token 低于 100 毫秒，比只看参数量的轻量叙事更有参考价值，端侧 Agent 的落地边界因此更具体。
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：以1.3B激活参数取得接近4B激活模型的综合能力，同时Agent分数超越部分30B+模型，多精度开源和本地部署方案让轻量Agent应用更易落地。
NVIDIA Nemotron 3.5 Lightning 现已登陆 Ollama，可完全在本地设备上运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开放模型，面向需要持续运行的智能体任务，支持最高 1M token 上下文，借助 MTP、DFlash 或 DSpark 推测解码获得最高 4x 吞吐提升，并可比同类开源模型快 30% 完成任务。
推荐理由：原文给出了参数结构、上下文长度、吞吐数据和本地运行入口，读者可以据此判断它是否适合长期运行的本地智能体工作流。
蚂蚁百灵正式开源 Ling-3.0-tiny，总参数 7.9B，每 Token 仅激活 1.3B，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：官方给出了综合指数与实测数据，读者可以据此评估这款轻量模型在端侧部署和本地 Agent 场景的可用性。
SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。
推荐理由：SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度，本地智能体工作流不再受限于云端延迟。
Unsloth AI@UnslothAI精选AI 评分7272Meta 开源 30B 参数密集模型 Muse Glimmer，Apache 2.0 许可，支持视觉，可在 18GB RAM/VRAM 环境本地运行，定位于本地智能体与编码工作流。
今天我们还将开放 Muse Glimmer 的权重，这是一个出色的 30B 参数稠密模型，可以在本地运行。很快我们还会发布 Muse Spark 1.2 的权重，这是我们最新的基础模型。Meta 是开源的有力支持者，我为这些发布感到自豪。祝贺 @alexandr_wang 和 MSL 团队在这些模型上所做的出色工作。
推荐理由：Meta 开源 30B 密集视觉模型，18GB 内存可本地运行，作者还提供了 GGUF 和运行训练指南，方便直接上手。
AI at Meta@AIatMeta精选AI 评分5858推荐理由：将一个 30B 模型以 Apache 2.0 许可完全开源并针对本地智能体优化，为需要离线运行或数据不出设备的 Agent 应用提供了更轻量的选择。
MiniMax 发布 MiniMax-H3，一个可接受文本、图像、音频和视频并生成最长 15 秒带音频视频片段的通用全模态生成系统。Python 包 PipeNetwork/minimax-h3-mlx 将其移植到 MLX，支持 Apple Silicon 运行。作者在 M5 Max MacBook Pro 上实测，下载约 115 GB 模型文件，视频生成耗时不到 45 分钟。
推荐理由：在 M5 Max 上生成本地视频的 45 分钟耗时，为判断这类模型何时能进入日常工作流提供了具体的参照。
Liquid AI 发布 LFM2.5-2.6B，一个可完全在设备端运行的 2.6B 参数智能体模型，预训练约 34T tokens，词表扩展至 128K，Base 和 post-trained 权重已在 Hugging Face 开放。
推荐理由：原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字，读者可以据此评估端侧智能体部署的可行性与取舍。
Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器，支持 8,192 token 上下文，已在 Hugging Face 开放下载。
推荐理由：原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比，读者可以据此评估其在边缘和本地部署中的适用性。
OpenRouter 上的 AI 模型市场已高度细分，OpenAI 一年前的开源模型 GPT-OSS 120b 流量达到 Anthropic Opus 4.8 的 36%。
推荐理由：作者用本地实测数据说明MoE架构让118b模型跑出26b的解码成本，端侧模型质量上限正在被竞争推高。