Liquid AI 发布首个视觉语言模型系列 LFM2-VL,含 450M 与 1.6B 两个版本
Liquid AI 发布 LFM2-VL,是其首个视觉语言基础模型系列,含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个开放权重版本,面向手机、笔记本、可穿戴等资源受限设备的低延迟部署。
Liquid AI 发布 LFM2-VL,是其首个视觉语言基础模型系列,含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个开放权重版本,面向手机、笔记本、可穿戴等资源受限设备的低延迟部署。
OpenAI 发布 Cookbook 教程,讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用,教程将引导用户完成本地运行 gpt-oss 的步骤。
推荐理由:OpenAI 官方 Cookbook 给出在本地硬件用 LM Studio 运行 gpt-oss 的完整步骤,可作为离线部署的操作参考。
🚀 推出 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507 — 更智能、更敏锐,支持 256K! 🔹 Instruct:增强通用技能、多语言覆盖和长上下文指令遵循。 🔹 Thinking:在逻辑、数学、科学和代码方面具备高级推理能力——专为专家级任务打造。 两个模型都更加对齐、更强大、更具上下文感知能力。 Huggingface: https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507 https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507 ModelScope: https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507 https://modelscope.cn/models/Qwen/Qwen3-4B-Thinking-2507
推荐理由:Jim Fan 借 Qwen3-4B 提出「推理核心假设」,探讨极小模型作为 LLM OS 内核的边界
OpenAI 开发者发布教程,讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由:来自 OpenAI 开发者官方的实操指南,读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
Liquid AI 与 .txt 展示如何用 LFM2-350M 和 dotgrammar 在端侧设备实现可靠的 LLM 函数调用。LFM2-350M 量化前内存低于 1 GB,常见边缘硬件上推理低于 100ms;dotgrammar 用上下文无关文法(CFG)约束输出,保证语法合法且不增加推理延迟。
Liquid AI 发布 LEAP(Liquid Edge AI Platform)开发者平台和 Liquid Apollo iOS 应用,用于在手机上本地运行小语言模型。
Liquid AI 发布新一代基础模型 LFM2,主打端侧部署,在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍,训练效率较上一代提升 3 倍。
推荐理由:官方发布端侧模型系列,给出与 Qwen3 等同尺寸模型的速度和基准对比数据,适合关注本地部署选型的读者参考。
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用,发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸,各有 base 与 instruct 变体。
推荐理由:原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口,读者可以直接照着跑起来。
Gemini Robotics On-Device 推出高效端侧机器人模型,具备通用灵巧操作与快速任务适应能力,支持本地设备直接部署运行。
推荐理由:DeepMind 发布端侧机器人模型,支持本地部署与快速任务适应
Gemma 3n 预览版发布,专为移动设备优化的开源多模态模型。采用 2-in-1 架构,支持音频理解,适用于实时交互和音频中心应用开发。
推荐理由:Google 发布端侧多模态模型 Gemma 3n,支持音频理解,面向移动设备优化
TII 的 Falcon-Edge 系列基于 BitNet 架构,以三值权重 {-1, 0, 1} 直接预训练,提供 1B 和 3B 两种参数规格,各含 base 和 instruct 版本,模型在约 1.5 Tera Tokens 的内部数据混合上预训练。
推荐理由:原文解释了 BitNet 三值权重的训练范式和微调路径,读者可以据此判断 1.58bit 模型在端侧部署的适用性。
Mistral AI 发布 Mistral Small 3.1,称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini,推理速度达 150 tokens 每秒,上下文窗口扩展至 128k tokens,并以 Apache 2.0 许可证开源。
推荐理由:官方公告给出具体基准对比、部署门槛和开放下载渠道,读者可据此评估它能否替代现有小型私有模型。
Sakana AI 提出 TAID(Temporally Adaptive Interpolated Distillation)知识蒸馏方法,通过随学生模型学习进度动态调整的"中间教师"实现从 LLM 到 SLM 的高效知识迁移,该论文已被 ICLR 2025 接收为 Spotlight。
Sakana AI 发布日语小语言模型 TinySwallow-1.5B,采用新知识蒸馏方法 TAID,从 32B 参数 LLM 向 1.5B 参数 SLM 迁移知识,在同规模模型中取得最高日语基准分数。
Liquid AI 发布 LFM7B(7.7B 参数),采用非 Transformer 的 Liquid Foundation Model 架构,官方称在 7B-8B 同级模型中聊天表现领先,支持英语、阿拉伯语、日语等 8 种语言。
DeepSeek 推出官方移动端 App,目前已在 iOS 和 Android 各大应用商店上架。该 App 由 DeepSeek-V3 模型驱动,面向所有用户免费开放使用,用户可通过官网或应用市场直接下载。
推荐理由:DeepSeek 开源 VL2 视觉模型,3B 轻量版可端侧部署,MoE 架构支持动态图像分块
Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B,称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。
推荐理由:官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围,读者可直接评估其本地部署与 Agent 调用场景的适用性。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
Zyphra 发布开源(Apache 2.0)端侧小模型 Zamba2-small(2.7B),称在相近规模模型中达到 SOTA 评测表现。该模型采用 Mamba2 与两个共享注意力块混合的架构,并在共享 MLP 上加 LoRA 投影;相比 Phi3-3.8B 实现约 2 倍首 token 速度、27% 内存开销降低和 1.29 倍生成延迟降低。
LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。
LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。
Hugging Face 发布博客,介绍如何在 iPhone、iPad 和 Mac 上使用 Core ML 加速运行 Stable Diffusion。正文抓取失败,仅标题可用,更多细节以原文链接为准:https://huggingface.co/blog/fast-diffusers-coreml
Hugging Face 与 Apple 合作,将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由:Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法,读者可按机型选变体并迁移到自定义模型。