NVIDIA 讲解如何在 Jetson 上部署和优化推理模型
NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由：官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据，可迁移到自己的 Jetson 部署流程。
#端侧
NVIDIA Technical Blog：Agentic AI / Generative AI精选AI 评分6969
OpenClaw：BlogAI 评分5757 OpenClaw 发布 macOS 安装器并为 Windows NVIDIA RTX PC 简化本地模型配置
OpenClaw 推出 macOS 原生应用安装器，用户可像普通应用一样点击安装并通过引导流程上手，无需接触终端，macOS 还能自动检测已有的 Claude、Codex 或 Ollama 等 AI 配置。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分4747 蚂蚁 inclusionAI 发布 Ling-3.0-tiny 混合推理 MoE 模型 GGUF 版本
蚂蚁 inclusionAI 在 Hugging Face 发布 Ling-3.0-tiny 的 GGUF 版本。该模型为轻量混合推理 MoE 模型，总参数 7.9B，每 token 仅激活 1.3B 参数，主打低推理成本下的推理与智能体能力，适合本地和资源受限部署；提供 Q6_K（6.5 GB）和 BF16（15.8 GB）量化文件。
IBM Research：AIAI 评分5454 IBM 发布 Granite 4.2 语言模型与 Granite Speech 5.0 Turbo CTC 语音模型
IBM 发布 Granite 4.2 语言模型，提供 3B、8B、30B 三种参数规模，内置逐步推理与工具调用能力，面向企业智能体工作流，采用 Apache 2.0 许可。
Apple：Newsroom精选AI 评分5555 Apple 发布 M6 与 M5 Ultra，性能与 AI 算力大幅跃升
Apple 推出首款 2nm 芯片 M6，搭载 12 核 CPU、12 核 GPU 及双 16 核神经引擎，统一内存带宽最高 170GB/s，多线程性能较 M5 提升 1.2 倍。M5 Ultra 采用首款四芯片封装架构，最高 36 核 CPU、80 核 GPU，带宽达 1.2TB/s，较 M3 Ultra 提升 50%。两款芯片分别用于新款 Mac mini 与 Mac Studio。
推荐理由：M5 Ultra 的 512GB 统一内存和 1.2TB/s 带宽，让数百亿参数模型可以完全在本地运行，降低了大模型本地部署的硬件门槛。
Apple：NewsroomAI 评分5858 Apple 发布搭载全新 M6 与 M5 Pro 芯片的 Mac mini
Apple 推出搭载全新 M6 与 M5 Pro 芯片的新款 Mac mini，M6 版本 AI 性能最高提升 4 倍、CPU 性能提升 40%，支持 Wi-Fi 7 与蓝牙 6。
Apple：Newsroom精选AI 评分6464 Apple 推出搭载 M5 Max 与 M5 Ultra 的全新 Mac Studio
Apple 发布搭载 M5 Max 与全新 M5 Ultra 的 Mac Studio，AI 性能最高提升 4.3 倍，图形性能提升 1.8 倍，存储速度提升 2 倍。M5 Ultra 版本支持最高 512GB 统一内存与 1.2TB/s 内存带宽，可完全在设备端运行大型 LLM；四台集群可带来最高 3 倍分布式 AI 推理速度提升。新品今日起接受预购，9 月 22 日开售。
推荐理由：M5 Ultra 的 512GB 统一内存与每 GPU 核神经加速器，让本地运行超大规模 LLM 从演示走向可用，云成本与 token 计费不再是部署前置条件。
Meta Engineering BlogAI 评分5959 WhatsApp 如何用端到端加密与可验证性构建 Scam Alert 诈骗提醒功能
WhatsApp 推出可选功能 Scam Alert，通过端到端加密保护下在设备端运行机器学习模型，识别潜在诈骗消息，且消息内容不会离开设备或自动上报。该功能遵循仅设备端处理、无自动上报、用户控制三大原则，模型权重公开供独立验证，遥测数据经差分隐私聚合处理。目前已在 Beta 版有限推出，并邀请安全研究社区参与测试。
Liquid AI 模型与工程博客精选AI 评分6767 Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型
Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。
推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。
Google Developers Blog精选AI 评分6262 Google 发布在 Raspberry Pi 5 上用 LiteRT 与 Gemma 部署边缘 AI 的完整指南
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
NVIDIA Blog精选AI 评分7676 NVIDIA 推出 Nemotron 3.5 Lightning，加速本地智能体任务
NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。
Ollama：Blog精选AI 评分6868 NVIDIA Nemotron 3.5 Lightning 上架 Ollama，可完全本地运行
NVIDIA Nemotron 3.5 Lightning 现已登陆 Ollama，可完全在本地设备上运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开放模型，面向需要持续运行的智能体任务，支持最高 1M token 上下文，借助 MTP、DFlash 或 DSpark 推测解码获得最高 4x 吞吐提升，并可比同类开源模型快 30% 完成任务。
推荐理由：原文给出了参数结构、上下文长度、吞吐数据和本地运行入口，读者可以据此判断它是否适合长期运行的本地智能体工作流。
蚂蚁百灵：Developer Blog精选AI 评分6666 蚂蚁百灵开源 Ling-3.0-tiny：7.9B 总参数、每 Token 激活 1.3B
蚂蚁百灵正式开源 Ling-3.0-tiny，总参数 7.9B，每 Token 仅激活 1.3B，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：官方给出了综合指数与实测数据，读者可以据此评估这款轻量模型在端侧部署和本地 Agent 场景的可用性。
LMSYS Blog精选AI 评分7272 SGLang 为 Muse Glimmer 提供 Day-0 支持，针对本地智能体工作流优化推理
SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。
推荐理由：SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度，本地智能体工作流不再受限于云端延迟。
Liquid AI 模型与工程博客精选AI 评分7070 Liquid AI 发布端侧智能体模型 LFM2.5-2.6B
Liquid AI 发布 LFM2.5-2.6B，一个可完全在设备端运行的 2.6B 参数智能体模型，预训练约 34T tokens，词表扩展至 128K，Base 和 post-trained 权重已在 Hugging Face 开放。
推荐理由：原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字，读者可以据此评估端侧智能体部署的可行性与取舍。
BAIR：Berkeley AI Research BlogAI 评分5757 K-Search 将 CUDA 内核优化经验迁移至 Apple Silicon MLX，性能接近专家水平
伯克利 Sky Lab 团队基于 K-Search 框架开发了 CUDA 到 MLX 的结构化翻译层，使 AI 驱动的内核搜索能自动将 NVIDIA GPU 上积累数十年的内核优化知识迁移至 Apple Silicon。
NVIDIA BlogAI 评分5252 NVIDIA Jetson 为边缘 AI 和机器人提供紧凑型开发套件
NVIDIA Jetson 平台为边缘 AI 和机器人提供紧凑型开发套件，可放入手提包中。其中 Jetson Orin Nano Super 具备 67 TOPS 的 AI 性能，支持运行 Mistral 等开源模型，所有推理均在本地 GPU 加速完成，无需云端或 API 密钥。
Liquid AI 模型与工程博客精选AI 评分6565 Liquid AI 发布 LFM2.5-Encoder-230M 与 350M 双向编码器，长上下文下 CPU 推理最快
Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器，支持 8,192 token 上下文，已在 Hugging Face 开放下载。
推荐理由：原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比，读者可以据此评估其在边缘和本地部署中的适用性。
NVIDIA BlogAI 评分5454 NVIDIA 推出 Jetson T3000 与 T2000 模块，推动主流机器人与边缘 AI 发展
NVIDIA 发布基于 Thor 架构的 Jetson T3000 与 T2000 模块。T3000 在紧凑尺寸下提供 865 FP4 teraflops 算力，功耗与体积约为 T5000 的一半；T2000 提供 400 FP4 teraflops 算力与 16GB 内存，作为边缘 AI 入门方案。多家机器人公司已采用该平台。
Google Developers Blog精选AI 评分5858 Google 在 I/O Connect India 展示由 Tensor SoC 和 TPU 驱动的 Pixel 10 端侧 AI 未来
在 Google I/O Connect India 上，Google 展示了由定制 Tensor SoC 和 TPU 驱动的 Pixel 10 系列所支持的 100% 私有端侧 AI 未来。活动首次推出轻量级 Gemma 4 E2B 模型，该模型原生运行于设备端，可实现完全离线的多模态功能，包括 AI 聊天、实时图像识别和个人智能体任务。开发者即日起可通过新发布的 Tensor SDK beta 及其配套开源资源，开始构建这些安全的边缘应用。
推荐理由：我觉得这是端侧 AI 从实验到落地的信号，Gemma 4 E2B 的离线能力搭配新 SDK，让完全本地的多模态应用不再是期货，做移动隐私 AI 的开发者该上手试试了。
Google Developers Blog精选AI 评分6262 Google 推出 LiteRT.js：高性能 Web AI 推理运行时
Google 发布 LiteRT.js，这是 LiteRT 跨平台边缘 AI 运行时的最新成员，专为 JavaScript 开发者设计，可直接在浏览器中运行机器学习模型。LiteRT.js 基于 WebGPU 和即将推出的 WebNN 实现 SOTA 推理性能，同时支持回退到 WebAssembly CPU 方案。
推荐理由：Google 将 LiteRT 扩展到了浏览器端，让 Web 开发者可以直接在客户端跑 AI 推理，但发布缺少性能数据和对比，实质价值还要看后续的 benchmark。
Google Blog：AIAI 评分4343 Google 2026年6月AI更新汇总
Google在6月发布多项AI更新：推出Gemini 3.5 Live Translate实时语音翻译；
Google Research：Blog精选AI 评分5555 冻结多token预测加速Pixel上的Gemini Nano模型
Google Research提出一种新架构，在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction（MTP），以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM，无需单独训练占用内存的草稿模型，通过“晚期退出”策略实现加速。AI通知摘要和校对功能因此生成文本速度显著提升、能耗降低，开发者无需为每个新任务微调独立模型。
推荐理由：谷歌这篇技术博客值得端侧开发者细读，他们把多令牌预测硬是装进了已部署的 Nano 模型，Pixel 上生成加速五成，还省了 130MB 内存，零拷贝架构的想法挺巧，但没法直接复现，主要是开脑洞用的。
Liquid AI 模型与工程博客AI 评分5858 Liquid AI 发布最小模型 LFM2.5-230M，主打任意设备端侧运行
Liquid AI 发布 230M 参数模型 LFM2.5-230M 及其 Base 版本，已在 Hugging Face 开放权重。
Meta Engineering BlogAI 评分4545 Meta 如何为 AI 眼镜设计超窄钢壳电池
Meta 工程团队为 Ray-Ban Meta 等智能眼镜开发了宽度仅 7mm 的钢壳电池。传统软包电池难以塑形且空间利用率低，Meta 改用叠片式电极结构以降低阻抗、避免多任务时电压骤降，并将公差控制在约 100 微米以释放更多体积。Gen2 电池容量从 160 mAh 提升至 210 mAh，但续航翻倍主要来自软硬件系统级效率优化。Oakley Meta Vanguards 双电池面临交叉充电与启动关机时序难题，而 Meta Ray-Ban Display 则搭载了最大的 248 mAh 钢壳电池以支持屏幕持续供电。该超窄方案正推广至其他硬件形态。
Apple Machine Learning Research精选AI 评分7979 苹果发布第三代 Apple Foundation Models（AFM）
苹果推出第三代 Apple Foundation Models（AFM）基础模型家族，与 Google 合作定制，包含五个模型，覆盖从设备端到基于 Private Cloud Compute 的服务器端模型。这些模型旨在驱动 Apple Intelligence 功能，包括全新 Siri 和智能工具，以用户为中心深度融合操作系统，隐私为核心设计原则。
推荐理由：Apple与Google罕见联手推出的第三代基础模型，直接为下一代Siri和系统级AI功能铺路，标志着消费级AI的深度整合，产品经理和iOS开发者必须关注。
Apple：Newsroom精选AI 评分6666 Apple 推出 Siri AI：由 Apple Intelligence 驱动的更强大、更个性化的个人助理
Apple 发布了 Siri AI，一款由 Apple Intelligence 驱动的个人助理，具备个人上下文、世界知识和屏幕感知能力，能提供更强大、更个性化的交互体验。
推荐理由：苹果对 Siri 的这次重构不是简单地换个模型，它把个人上下文、屏幕感知和视觉智能实际嵌进了系统，对普通用户来说日常交互方式可能要变。
Google Research：Blog精选AI 评分7979 Google Research 发布被动心率监测系统 PHRM
Google Research 开发了一种被动心率监测系统（PHRM），利用智能手机前置摄像头在日常使用中（人脸解锁后数秒内）捕捉面部视频，通过深度学习估算心率，平均绝对百分比误差（MAPE）低于10%（对比心电图金标准），满足各肤色人群的行业精度标准。系统将全天心率测量整合为每日静息心率（RHR），平均绝对误差（MAE）低于5 bpm（对比可穿戴设备）。研究同时发布了迄今最大规模的公开智能手机视频数据集及预训练模型PHRM-mini，合格研究人员可申请访问。
推荐理由：Google 这项发表在 Nature 上的研究，把手机前置摄像头变成了被动心率仪，而且专门解决了深肤色人群精度差的老问题，虽然离产品还远，但方向很对，穿戴设备的护城河可能又浅了一点。
Google Developers BlogAI 评分7575 在笔记本电脑上运行 Gemma 4 12B：借助 Google AI Edge 解锁本地智能体工作流
Google DeepMind 的 Gemma 4 12B 模型可在 16GB RAM 的普通笔记本上运行，支持本地数据处理与视觉洞察生成。macOS 用户可通过 Google AI Edge Gallery 执行动态 Python 代码与可视化，通过 Google AI Edge Eloquent 实现完全离线的语音听写和文本编辑。另外，LiteRT-LM CLI 新增 serve 命令，可创建行业兼容的本地端点，驱动完全本地的 AI 工具和智能体。
Google Developers Blog精选AI 评分7878 Gemma 4 12B：开发者指南
Gemma 4 12B 是一款密集多模态模型，专为消费级设备上的高性能本地 AI 执行而设计。其采用新颖的无编码器架构，绕过传统视觉和音频编码器，将多模态数据直接输入大语言模型主干。
推荐理由：Google 把多模态模型直接塞进消费级设备，靠的不再是缩水而是架构层面的创新。12B 放在本地跑，这次玩法变了。
Black Forest Labs：BlogAI 评分5656 Black Forest Labs 携手 ASUS 与 NVIDIA 将 FLUX.2 [klein] 4B 带上 ProArt 笔记本
Black Forest Labs 宣布 FLUX.2 [klein] 4B 首次随消费级硬件出货，预装在 ASUS 下一代 ProArt RTX 笔记本的 MuseTree 应用中，该产品线已在台北 Computex 2026 亮相。
Google Research：Blog精选AI 评分7070 通过零信任聚合实现的隐私分析
Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境（TEE）的透明性，旨在实现前沿的隐私与安全保证。其核心是基于零信任原则，通过密码学与硬件保护的结合，确保系统仅能获取群体的匿名化聚合洞察。
推荐理由：Google 的隐私聚合新方案把多轮交互砍成一次提交，对做设备端联邦分析的人来说是工程上的一大步，而且结合 TEE 做双层防护，这个思路值得抄。
Liquid AI 模型与工程博客精选AI 评分7070 Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B
Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B，专为消费级硬件上的快速可靠工具调用打造，Base 和 post-trained 版本已在 Hugging Face 开放。
推荐理由：官方给出了与上一版和同类模型的对比数据，以及本地部署路径，适合评估端侧工具调用模型的选型。
Google Developers Blog精选AI 评分6363 发布 Kotlin版ADK与Android版ADK 0.1.0：在Android及其他平台构建AI Agent
Google发布了面向开发者的新工具包：Kotlin版ADK与Android版ADK 0.1.0。这两个工具包旨在帮助开发者构建AI Agent。其中，Kotlin版ADK将代理工作流引入后端项目开发；Android版ADK则专注于移动端应用，提供了构建AI代理所需的特定功能。此次发布为开发者提供了在Android生态及更广泛平台创建AI应用的官方工具基础。
推荐理由：Google 首次为 Android 推出端侧多 agent 开发框架，虽然还只是 0.1 版，但端云混合编排的思路已清晰，移动开发者可以提前踩坑了，这是端侧 AI 应用爆发前的一个信号。
Google Developers Blog精选AI 评分7575 推出 Gemini for Home 赋能服务提供商与硬件合作伙伴
Google 通过推出全栈 Gemini AI 解决方案扩展其智能家居生态系统。该方案集成了先进的摄像头智能、自然语言查询功能和日常活动摘要能力。它为服务提供商和硬件制造商提供了现成的参考设计与API，使其无需大量研发投入即可构建主动式、品牌化的智能家居服务。该计划旨在超越基础设备控制，迈向能够理解情境并实时响应用户需求的AI原生智能家居。
推荐理由：Google 把 Gemini 塞进智能家居，直接给硬件商和 ISP 提供交钥匙方案，这一步可能比 Nest 当年更有侵略性，做智能家居的得留意了。
Google Developers BlogAI 评分7070 使用LiteRT-LM在设备上实现闪电般的快速生成式AI
Google AI Edge推出LiteRT-LM引擎，为跨平台移动和边缘设备提供高度优化的基础设施，支持Gemma 4模型在设备端运行。通过内存高效动态加载和多令牌预测技术，实现高达2.2倍的速度提升，并集成思维模式、约束解码等高级工具。同时，该引擎正扩展至Apple生态，新增原生Swift API和WebGPU加速的JavaScript API，支持高性能浏览器端推理。
Google Developers Blog精选AI 评分6565 更智能的 Google AI Edge Gallery：MCP 集成、通知和会话连续性
Google AI Edge Gallery 应用在安卓平台上扩展了设备端 AI 能力，通过引入对开源模型上下文协议（MCP）的实验性支持，使得 Gemma 4 模型能够协调处理跨 Google Workspace 和 Google Maps 等外部数据源的复杂任务。此次更新添加了“定时通知”技能，用于实现日常事务的自动化管理，并新增了持久化聊天记录功能，允许用户近乎即时地恢复长会话上下文。该平台依托开源工具包，积极鼓励社区开发者通过其 GitHub 仓库构建并分享专注实用的工作流、提示配置与工具集成。
推荐理由：MCP 终于跑在 Android 设备上了，虽然是实验性支持，但 Gemma 4 能直连 Workspace 和 Maps，做自动化的开发者可以上手试试。
Google Developers Blog精选AI 评分6969 Google Tensor ML SDK 测试版发布
Google Tensor ML SDK 进入测试版，支持开发者直接在 Pixel 10 设备的 TPU 上构建和部署高性能机器学习模型。该 SDK 集成边缘部署框架 LiteRT，提供统一工作流，可高效转换、编译并运行 PyTorch 或 TFLite 模型，并具备稳定回退机制。此外，新推出的模型库包含超过 100 个经典及生成式 AI 模型（如 Gemma 3），支持低延迟、注重隐私的语音识别、计算机视觉与文本生成等功能。
推荐理由：Google 把 TPU 塞进了 Pixel 10，现在开发者能直接在手机上跑 Gemma 3 了，这是移动端 AI 从「能用」到「好用」的关键一步，做 app 的值得关注。
Apple：Newsroom精选AI 评分5757 苹果发布全新辅助功能，并引入Apple Intelligence进行更新
苹果公司宣布推出由Apple Intelligence驱动的重大辅助功能更新。此次更新为VoiceOver、放大镜（Magnifier）和语音控制（Voice Control）功能引入了新的能力，旨在提升残障用户设备的可用性。这是苹果首次将Apple Intelligence应用于其辅助功能技术组合。
推荐理由：Apple Intelligence为无障碍功能带来自然语言交互和更智能的视觉辅助，是不错的方向，但全是远期承诺，现在还不能上手。
Google Developers Blog精选AI 评分6363 加速设备端AI：Arm与Google AI Edge的优化实践
Arm第二代可扩展矩阵扩展（SME2）与Google AI Edge软件栈集成，将CPU转变为强大的矩阵计算加速器，从而实现高性能的设备端生成式AI。本文以Stability AI的“stable-audio-open-small”模型为例，阐述了利用LiteRT、XNNPACK和KleidiAI构建的“转换、优化、部署”自动化硬件加速流程。该方案在基于Arm架构的移动设备和笔记本电脑上，成功实现了音频生成速度提升2倍以上、内存使用减少4倍的显著效果，同时确保了高音频质量。这一集成方案为在资源受限的边缘设备上高效运行复杂AI模型提供了有效路径。
推荐理由：Google 和 Arm 在设备端 AI 上的联合优化案例很具体，给了开发者一套可复制的流程，2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。