端侧 AI 最新动态

如何在 Chrome 扩展中使用 Transformers.js

本文介绍在 Chrome 扩展中集成 Transformers.js 库的具体方法，涵盖从环境配置、模型加载到前后端通信的关键步骤。通过示例代码演示了如何利用该库在扩展中实现本地机器学习推理，同时处理扩展权限限制与安全策略。文中还对比了 Web Worker 与 Service Worker 两种部署方案，并提供了性能优化建议，帮助开发者在浏览器扩展环境中高效运行 Transformer 模型。

Demis Hassabis@demishassabis· 22:01精选

Gemma 4 在基准测试中性能超越体量 10 倍以上的大模型，图表 x 轴为对数坐标，凸显其极高的参数效率。

Sundar Pichai@sundarpichai· 00:13精选

Gemma 4 开源模型发布，提供 31B dense、26B MoE 及有效 2B/4B 四种尺寸，分别针对性能、低延迟和边缘设备优化。Google DeepMind 称其为同尺寸最佳开源模型，强调单位参数量智能密度极高。

Demis Hassabis@demishassabis· 00:08精选

Gemma 4 开源模型发布，提供 4 种尺寸：31B dense 版追求极致性能，26B MoE 版实现低延迟，2B 与 4B 版适配边缘设备，均可针对特定任务微调。

Google DeepMind@GoogleDeepMind· 00:03精选

Google 发布 Gemma 4 开源模型系列，采用 Apache 2.0 许可证，支持在本地硬件运行，专为高级推理和 agentic 工作流设计。

通过 Gemma 4 将先进的智能体能力引入边缘

Google DeepMind 发布了 Gemma 4 系列开源模型，旨在直接在设备端实现多步骤规划和自主智能体工作流。该版本包含用于实验“智能体技能”的 Google AI Edge Gallery，以及为开发者提供显著速度提升和结构化输出的 LiteRT-LM 库。Gemma 4 采用 Apache 2.0 许可，支持超过 140 种语言，并兼容移动设备、台式机及树莓派等多种物联网硬件平台。

Welcome Gemma 4: 设备端的 Frontier 多模态智能

Google 正式发布了 Gemma 4，这是一款前沿的多模态人工智能模型，其核心特点是能够在设备端本地运行。该模型通过开源方式发布，旨在推动人工智能技术的进步与民主化。Gemma 4 的“在设备端”能力意味着数据处理可在本地完成，无需持续连接云端，这有望提升响应速度、增强隐私保护并实现离线使用。此举是 Google 通过开源和开放科学来普及人工智能的持续努力的一部分。

Granite 4.0 3B Vision：面向企业文档的紧凑型多模态智能

IBM Granite团队发布了Granite 4.0 3B Vision模型，这是一个专为企业文档处理设计的紧凑型多模态大语言模型。该模型参数为30亿，具备视觉理解能力，能够同时处理文本和图像信息，特别针对报告、表格、图表等企业文档进行优化。其紧凑尺寸旨在降低部署和运行成本，使企业能够在资源受限的环境中高效实现文档智能分析、信息提取和知识管理。模型已在Hugging Face平台发布。

将机器人AI引入嵌入式平台：数据集记录、VLA微调与设备端优化

NXP在Hugging Face发布技术博客，详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集，对VLA模型进行针对性微调，以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战，推动机器人AI在边缘端的实际应用。

Apple 推出搭载 M5 芯片的全新 MacBook Air

Apple 发布了搭载 M5 芯片的全新 MacBook Air，为这款全球最受欢迎的笔记本电脑带来卓越性能和扩展的 AI 能力。新款 MacBook Air 在性能上实现显著提升，并增强了人工智能相关功能，进一步巩固其在轻薄本市场的领先地位。

Google DeepMind@GoogleDeepMind· 00:02精选

我们推出 Nano Banana 2，基于最新的 Gemini Flash 模型构建。🍌 它在创建和编辑图像方面达到最先进水平，将专业级功能与闪电般的速度相结合。🧵

Liquid AI 发布早期检查点 LFM2-24B-A2B，24B 总参数仅 2.3B 激活

Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点，为 MoE 架构，24B 总参数、每 token 约 2.3B 激活，可放进 32GB 内存部署于云端和边缘设备。

GGML 和 llama.cpp 加入 HF 以确保 Local AI 的长期进展

GGML 和 llama.cpp 团队正式加入 Hugging Face，以支持本地 AI 社区的长期扩展。创始人 Georgi Gerganov 及团队将全职维护 llama.cpp，保持 100% 技术自主权和社区领导力，项目继续 100% 开源和社区驱动。Hugging Face 提供长期可持续资源，助力项目增长。技术上将优化 transformers 库与 llama.cpp 的无缝集成，实现近乎“一键式”的模型部署，并改进基于 GGML 的软件打包和用户体验。长期愿景是构建高效本地推理堆栈，推动开源超级智能的普及。

Transformers.js v4：现已在 NPM 上发布！

Transformers.js 发布第四个主要版本 v4，该版本现已通过 NPM 包管理器提供。这一更新延续了项目通过开源与开放科学推动人工智能技术进步与普及的使命，使开发者能够更便捷地获取并在项目中集成这一机器学习库。

Liquid AI 发布 LFM2.5-1.2B-Thinking，1.2B 参数端侧推理模型内存低于 1GB

Liquid AI 发布可在手机上完全离线运行的推理模型 LFM2.5-1.2B-Thinking，内存占用约 900 MB，已上线 Hugging Face、LEAP 和 Playground。

Liquid AI 发布 LFM2.5 端侧模型家族，预训练扩展至 28T tokens

Liquid AI 发布 LFM2.5-1.2B 模型家族，将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练，覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。

Gemini 3 Flash：专为速度打造的前沿智能

Gemini 3 Flash 正式发布，在大幅降低使用成本的同时提供前沿级智能，主打极速推理性能，为需要快速响应的 AI 应用提供高性价比选择。

llama.cpp 服务器新增多模型管理功能

llama.cpp 服务器新增了类似 Ollama 的多模型管理功能。该功能采用多进程架构，每个模型独立运行，确保单个模型崩溃不影响其他服务。系统支持自动发现本地 GGUF 模型文件、按需加载，并默认采用 LRU 机制管理最多同时加载4个模型。用户可通过请求中的模型字段路由到特定模型，并可使用 API 进行加载、卸载和列表查看。所有加载的模型可继承路由器的统一设置，也支持通过预设文件为每个模型单独配置参数。内置 Web UI 同样支持模型切换。

Mistral 发布 Mistral 3 系列：Mistral Large 3 与 Ministral 3 全线开源

Mistral 发布 Mistral 3 模型系列，包含 41B 激活、675B 总参数的稀疏 MoE 模型 Mistral Large 3，以及 3B、8B、14B 三种规模的 Ministral 3 小模型，全部以 Apache 2.0 许可开源。

在 NVIDIA DGX Spark 上优化 GPT-OSS：实现本地大模型部署

与 NVIDIA 合作，在 DGX Spark 上通过 SGLang 成功支持 GPT-OSS 20B 与 120B 模型，实现 20B 版本约 70 tokens/s、120B 版本约 50 tokens/s 的生成速度，达到目前最优水平。用户可通过 Docker 部署 SGLang 服务，接入 Open WebUI 实现本地聊天，或借助 LMRouter 转换请求格式以完全本地化运行 Claude Code。该方案使在 DGX Spark 上部署多百亿参数本地编码智能体成为现实。