面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
#端侧
公众号：面壁智能精选AI 评分6868
数字生命卡兹克@Khazix0918精选AI 评分6868推荐理由：作者亲测 RTX Spark 上的本地模型部署路径，并把整套流程封装成 WorkBuddy 专家，读者可以照着复现本地 Token 自由的用法。
公众号：数字生命卡兹克精选AI 评分6767 卡兹克实测37999元RTX Spark轻薄本：一周实现本地Token自由
数字生命卡兹克分享华硕ProArt创16（RTX Spark N1X芯片、128G统一内存、37999元）的一周深度使用体验，该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由：作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型，并给出可复用的WorkBuddy专家整合流程。
Unsloth AI@UnslothAI精选AI 评分7171Unsloth 宣布通过优化解码和新增 MTP 支持，让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍，长上下文下最高达 3.3 倍。
引用Z.ai@Zai_orgGLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态，支持 1M token 上下文窗口 - 320B-A18B 参数模型，采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览，完全运行在中国 AI 芯片上 博客：http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线： 模型权重：http://huggingface.co/zai-org/GLM-5.3-Flash API：http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐：http://z.ai/subscribe ZCode：http://zcode.z.ai/en 对话：http://chat.z.ai AutoClaw：http://autoclaw.z.ai
推荐理由：原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源，方法可直接复用。
NVIDIA Technical Blog：Agentic AI / Generative AI精选AI 评分6969 NVIDIA 讲解如何在 Jetson 上部署和优化推理模型
NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由：官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据，可迁移到自己的 Jetson 部署流程。
Simon Willison 博客精选AI 评分7373 Qwen 3.8 27B 表现出色，但默认推理强度过高导致过度思考
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。
Google Developers Blog精选AI 评分6262 Google 发布在 Raspberry Pi 5 上用 LiteRT 与 Gemma 部署边缘 AI 的完整指南
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
Simon Willison 博客精选AI 评分7474 MiniMax-H3 通过 MLX 移植可在 Apple Silicon 上运行
MiniMax 发布 MiniMax-H3，一个可接受文本、图像、音频和视频并生成最长 15 秒带音频视频片段的通用全模态生成系统。Python 包 PipeNetwork/minimax-h3-mlx 将其移植到 MLX，支持 Apple Silicon 运行。作者在 M5 Max MacBook Pro 上实测，下载约 115 GB 模型文件，视频生成耗时不到 45 分钟。
推荐理由：在 M5 Max 上生成本地视频的 45 分钟耗时，为判断这类模型何时能进入日常工作流提供了具体的参照。
OpenBMB@OpenBMB精选AI 评分7171推荐理由：社区开发者用 MiniCPM 轻量模型做的本地数学助手，LaTeX 输入变得像聊天一样自然，是个小而美的端侧实用案例。
- OpenBMB@OpenBMB精选AI 评分6565引用MLBoy_DaisukeMajima@JackdeS11
📸 MiniCPM-V 4.6 —— 2B 参数以下最强的视觉模型之一 —— 现在通过 Apple Core AI 在 iPhone 17 Pro 上以约 51 tok/s 运行。 🤗 http://huggingface.co/mlboydaisuke/MiniCPM-V-4.6-CoreAI 🛠️ http://github.com/john-rocky/coreai-model-zoo
推荐理由：社区把 MiniCPM-V 4.6 搬上 iPhone 17 Pro，跑出 51 tok/s，还给了代码和模型，做端侧多模态的可以直接跑起来了。
Hugging Face 社区博客精选AI 评分5959 我们用免费本地模型对 OpenClaw 仓库进行实时分类
Hugging Face 在 OpenClaw 仓库上测试用 Gemma 和 Qwen 等本地模型实时分类 issue 和 PR。他们使用 Pi agent harness 驱动模型，配合 reposhell 只允许读操作防止提示词注入。测试的模型包括 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，经性能优化后均可在本地生成数百 token/s。该方案运行在 NVIDIA GB10（128 GB 统一内存）上，相比每月 200 美元的 ChatGPT Pro 订阅，可实现近乎实时的通知且仅消耗电费。
推荐理由：Hugging Face 演示了用本地模型自动 triage GitHub issue 的完整方案，包括只读 shell 防注入、agent harness 等工程技巧。对想用本地模型替代 API 做分类任务的团队，这是一套可直接借鉴的 recipe。
公众号：通义实验室精选AI 评分7979 MNN 适配 SME2 使 Qwen3-VL-4B 在端侧实时推理
MNN 推理引擎深度适配 Arm SME2 指令集，使 Qwen3-VL-4B-Instruct 在支持 SME2 的 vivo X300 上实现实时多模态推理。Prefill 阶段性能提升 81%，Decode 阶段提升 13%。MNN 采用编译时内建 + 运行时自动检测设计，默认开启 SME2 加速。该模型为 4B 参数视觉语言模型，支持图文理解和对话，通过 MNN 官方已转换量化的模型可直接下载部署，开发者可通过编译开关一键开启硬件加速。
推荐理由：这是一份硬核的端侧部署指南，实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%，做移动端 AI 的团队可以直接抄作业。
公众号：通义实验室精选AI 评分7272 通义实验室详解如何用 Arm SME2 与 MNN 让 Qwen3-VL 在手机端侧提速
通义实验室利用 Arm SME2 指令集与 MNN 推理引擎，在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%，Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计，开发者无需手动配置。
推荐理由：将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程，并给出 prefill 阶段 81% 提升的实测参考，为端侧多模态部署提供了可量化的工程路径。
公众号：通义实验室精选AI 评分6868 Agent 辅助开发，一站式打通 Qwen3-VL Android 端侧推理
通义实验室教程演示了如何用 Agent（Qoder）辅助完成 Qwen3-VL-2B 模型在 Android 端侧的全流程部署。操作包括：检查 JDK 21、NDK 27、CMake 3.18.1 等环境；创建 arm64-v8a 的 Native C++ 工程（minSdk 29、compileSdk 35）；通过 ModelScope CLI 下载约 1.4GB 的 MNN/Qwen3-VL-2B-Instruct-MNN 模型；编译开启 LLM 视觉支持（MNN_BUILD_LLM、LLM_SUPPORT_VISION）的 libMNN.so；构建 APK 并推送模型至手机私有目录。最终 App 提供图文推理页面，输出 MNN 版本（v3.5.0）、ABI 及推理指标。所有繁琐步骤均可由 Agent 自动执行。
推荐理由：用Agent辅助走通Qwen3-VL安卓端侧推理全流程，从环境搭建到JNI桥接一步到位。如果你在做移动端AI应用，这可能是目前最详细的实战指南，可以直接抄作业。
公众号：通义实验室精选AI 评分6767 Agent辅助开发：通义实验室教程打通Qwen3-VL Android端侧推理
通义实验室第二期教程展示如何利用Agent（如Qoder）自动完成Android端侧AI App开发全流程。Agent依次执行：检查并配置Android环境（JDK 21、NDK 27等）、创建Native C++工程PhotoTaggerMNN、下载约1.4GB的Qwen3-VL-2B-Instruct-MNN模型、编译支持视觉能力的libMNN.so、将MNN接入工程、构建APK、推送模型至手机私有目录，最终确认MNN版本3.5.0及模型文件全部ok。核心思路是开发者定义业务目标，Agent负责环境检查、代码编写、编译构建与排错。
推荐理由：这是一篇手把手教程，用 Agent 简化 Qwen3-VL Android 部署，对想试端侧 VL 的开发者实用，但绑定阿里生态，通用性有限。
Simon Willison 博客精选AI 评分7373 在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用
作者展示了如何在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用。此前的 Datasette Lite 使用 Web Workers，但无法执行 `<script>` 标签中的 JavaScript。新方案由 Claude Opus 4.8 协助完成开发，解决了这一问题。作者已展示了基础的 ASGI FastCGI 演示和运行 Datasette 1.0a31 的演示，并计划后续将此方法应用于升级 Datasette Lite。
推荐理由：Simon Willison 用 Service Worker 让 Python ASGI 在浏览器里真正跑了起来，这个技巧补上了 Datasette Lite 长期缺的 JS 执行能力，搞 Pyodide 的值得看看。
公众号：通义实验室精选AI 评分6464 通义实验室发布教程：在 Android 手机部署 MCP 感知服务器
通义实验室发布教程，演示如何在 Android 手机上部署 MCP 感知服务器，使手机具备本地视觉与听觉分析能力。核心基于端侧 MNN 推理引擎和 Qwen3-VL 2B 模型（约 1.3GB），摄像头与麦克风采集的音视频在本地实时转化为结构化 JSON，再通过 MCP Tool 供 Claude Code 等云端 Agent 远程调用。整个过程不上传原始数据，仅传输语义提取结果。项目已开源，实测可识别红绿灯状态等场景。
推荐理由：如果你做Agent总觉得AI对物理世界是瞎子，这篇教程就是解药。把Qwen3-VL塞进手机当本地眼睛，不传原始视频只给结构化文字，隐私友好又能被Claude直接调用。
Google Developers Blog精选AI 评分6363 加速设备端AI：Arm与Google AI Edge的优化实践
Arm第二代可扩展矩阵扩展（SME2）与Google AI Edge软件栈集成，将CPU转变为强大的矩阵计算加速器，从而实现高性能的设备端生成式AI。本文以Stability AI的“stable-audio-open-small”模型为例，阐述了利用LiteRT、XNNPACK和KleidiAI构建的“转换、优化、部署”自动化硬件加速流程。该方案在基于Arm架构的移动设备和笔记本电脑上，成功实现了音频生成速度提升2倍以上、内存使用减少4倍的显著效果，同时确保了高音频质量。这一集成方案为在资源受限的边缘设备上高效运行复杂AI模型提供了有效路径。
推荐理由：Google 和 Arm 在设备端 AI 上的联合优化案例很具体，给了开发者一套可复制的流程，2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。
Hugging Face 社区博客精选AI 评分7474 MachinaCheck：基于AMD MI300X构建多智能体CNC可制造性分析系统
MachinaCheck是一款基于多智能体AI的系统，旨在革新小型CNC机加工车间的报价分析流程。传统上，车间经理需花费30-60分钟手动分析图纸，而该系统在上传STEP文件及材料、公差等简单输入后，能在30秒内生成完整的可制造性报告，明确指出零件能否制造、所需工具及生产前需采取的行动。其核心在AMD MI300X加速卡上本地运行Qwen 2.5 7B模型，利用192GB HBM3显存确保客户设计数据无需离开本地，满足了制造业对数据隐私的严格要求。系统采用五组件流水线，结合精确的几何特征提取与LLM的制造知识推理，最终输出结构化报告。
推荐理由：虽然是hackathon项目，但用多Agent做CNC可行性分析，把推理全压在本地AMD显卡上保护图纸隐私，还给了可跑的代码和Space，制造业AI落地就该这么直接。
Rohan Paul@rohanpaul_ai精选AI 评分7878引用atomic.chat@atomic_chat_hq为 LLaMA.cpp 实现多 Token 预测（MTP）！ 本地运行 Gemma4 模型速度提升 1.5 倍。 我们给 LLaMA.cpp 打了补丁。将 Gemma 4 助手模型量化为 GGUF 格式。我们在 MacBook Pro M5Max 上进行了测试。Gemma 26B 配合 MTP 起草 Token 速度提升 40%。基准测试、源代码和模型 👇
推荐理由：在笔记本上把 Gemma 26B 的生成速度拉高 40% 是个真实的体验提升，atomic.chat 把 MTP 带入 LLaMA.cpp 生态，本地 AI 玩家可以直接拿去用。