Google DeepMind 发布多模态嵌入模型 EmbeddingGemma 2
Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2，将文本、图像、视频帧和音频映射到统一向量空间，参数量 740M。
推荐理由：原文给出内存占用、延迟和多种开发入口的具体数据，读者可以据此评估在本地多模态检索场景的落地方式。
技术方向
端侧 AI 最新动态
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
181 条精选近 30 天 23 条共收录 1,921 条
更新
精选归档 · 第 2 页
Google Developers Blog精选AI 评分6868
NVIDIA Blog精选AI 评分6767 NVIDIA DGX Spark 推出 64GB 版本，10 月 23 日起以 $4,999 开售
NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置，10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售，起步价 $4,999，支持最高 1000 亿参数模型在端侧运行。
推荐理由：官方公告给出64GB版的价格、上市时间和双机集群性能数据，读者可以据此评估本地AI部署的内存与成本取舍。
Artificial Analysis 完整文章精选AI 评分6464 Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。
推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。
Ollama：Blog精选AI 评分6969 Ollama 支持基于 Jev API 的决策模型，新增 nimble 等三款模型
Ollama 0.35 通过新 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型，可在本地一次请求回答多个命名问题，适合工单分诊、模型路由和内容审核等快速决策任务。
推荐理由：官方宣布本地运行决策模型，给出延迟数据和 API 用法，可帮助读者评估本地快速决策场景的可行性。
Google Developers Blog精选AI 评分6060 Antigravity SDK 支持本地模型，首发 Gemma 4 26B A4B 配合 LiteRT
Google 宣布 Antigravity SDK 支持本地工作流，首发支持通过 Google AI Edge 的 LiteRT 运行 Gemma 4 26B A4B，可完全离线获得智能体辅助能力，建议机器配备超过 24GB VRAM 或统一内存。
推荐理由：官方给出完整的本地模型接入步骤和混合编排示例，开发者可以直接照此把智能体工作流搬到离线环境。
vLLM 官方博客精选AI 评分7474 vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
推荐理由：官方首次发布 vllm-metal，用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题，并给出可复现的并发基准数据。
Meta：Newsroom · AI精选AI 评分7676 Meta 在 Connect 发布 Ray-Ban Meta Audio 音频眼镜并扩充 Ray-Ban Meta (Gen 3) 等 AI 眼镜产品线
Meta 在 Connect 上发布首款音频眼镜 Ray-Ban Meta Audio，重 43 克，预售价 349 美元起，10 月 13 日发货，单次充电可用 12 小时。
推荐理由：官方在 Connect 上同时扩充多价位与多款式 AI 眼镜产品线，给出了各款定价、续航和新市场名单，方便对照选购与产品节奏。
Apple：Newsroom精选AI 评分6565 Apple 新款 Mac mini（M6/M5 Pro）与 Mac Studio（M5 Max/M5 Ultra）今日开售
Apple 宣布新款 Mac mini 和 Mac Studio 于 9 月 22 日开售。Mac mini 搭载 M6 和 M5 Pro，AI 性能最高提升 4 倍。
推荐理由：官方发布文给出了完整芯片规格、AI 性能倍数和定价，读者可据此评估新桌面机对本地 AI 工作流的适配度。
Hugging Face 社区博客精选AI 评分7373 transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp
Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。
推荐理由：官方宣布 transformers 直接加载 GGUF，给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法，可帮助本地推理用户选择工作流。
Apple：Newsroom精选AI 评分7777 Apple 发布新一代 Apple Intelligence，Siri AI 正式以测试版上线
Apple 发布新一代 Apple Intelligence，推出全面重构的 Siri AI，支持个人语境理解、屏幕感知、系统级应用操作和跨设备对话，今日起以英文测试版随 2027 系统更新推出，下月扩展至法语、日语、韩语、葡萄牙语和西班牙语。
推荐理由：官方公告完整列出 Siri AI 的能力清单、设备与语言范围，以及欧盟和中国市场暂不可用等限制，读者可据此评估适用性。
Apple：Newsroom精选AI 评分6666 Apple 发布首款折叠屏 iPhone Duo，起售价 $1,999
Apple 发布首款折叠屏 iPhone Duo，展开为 7.6 英寸内屏，合盖后为 5.4 英寸外屏，提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热，iPhone 17 Pro 续航最高 44 小时视频播放，10 月 16 日开启预购、10 月 23 日发售，起售价 $1,999。
推荐理由：官方完整披露了屏幕、铰链、A20 Pro、续航与售价等参数，读者可据此评估这款折叠 iPhone 的实际取舍。
Apple：Newsroom精选AI 评分6363 Apple 发布 iPhone 18 Pro 与 iPhone 18 Pro Max
Apple 发布 iPhone 18 Pro 和 iPhone 18 Pro Max，配备带可变光圈的 48MP Fusion 主摄、A20 Pro 芯片和新一代 vapor chamber，eSIM 版 iPhone 18 Pro Max 视频播放最长可达 45 小时。
推荐理由：官方发布稿给出了可变光圈相机、A20 Pro 和电池续航的具体规格与售价，读者可以据此了解这代 Pro 机型的主要变化。
Apple：Newsroom精选AI 评分6363 Apple 发布 Health Sensing System 与重构版 Health app，Apple Watch Series 12 和 Ultra 4 主打 readiness 与 Health Age
Apple 发布全新健康与健身功能，Apple Watch Series 12 和 Apple Watch Ultra 4 引入 Health Sensing System，支持每 5 秒测心率、HRV 测量频率提升至 24 倍、每日 0-10 的 readiness 评分。
推荐理由：官方发布列出心率监测频率、readiness 评分和 Health app 各新标签的具体能力，读者可据此评估对自身健康管理的可用性。
Unsloth AI@UnslothAI精选AI 评分7171Unsloth 宣布通过优化解码和新增 MTP 支持，让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍，长上下文下最高达 3.3 倍。
引用Z.ai@Zai_orgGLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态，支持 1M token 上下文窗口 - 320B-A18B 参数模型，采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览，完全运行在中国 AI 芯片上 博客：http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线： 模型权重：http://huggingface.co/zai-org/GLM-5.3-Flash API：http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐：http://z.ai/subscribe ZCode：http://zcode.z.ai/en 对话：http://chat.z.ai AutoClaw：http://autoclaw.z.ai
推荐理由：原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源，方法可直接复用。
NVIDIA Technical Blog：Agentic AI / Generative AI精选AI 评分6969 NVIDIA 讲解如何在 Jetson 上部署和优化推理模型
NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
推荐理由：官方教程给出模型选型、NVFP4 量化与投机解码配置和实测吞吐数据，可迁移到自己的 Jetson 部署流程。
- Unsloth AI@UnslothAI精选AI 评分6666引用Unsloth AI@UnslothAI
Qwen3.8-Flash 现在可以在本地运行了！🔥 这个 125B 的 MoE 模型表现超过了 Claude-Opus-4.6（Max）。 通过 Unsloth GGUF 在 75GB 内存上运行。 Qwen3.8-Flash-Next 让 CPU 内存 / 统一内存配置也能达到接近 VRAM 的速度。 指南：https://unsloth.ai/docs/models/qwen3.8-next GGUF：https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
推荐理由：原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求，读者可以据此判断自己的设备能否跑通。
- Unsloth AI@UnslothAI精选AI 评分8181引用Qwen@Alibaba_Qwen
⚡️认识一下 Qwen3.8-Flash，一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，现已开放权重！ 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供，价格仅为每 100 万输入 token 0.16 美元，每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入，每个 token 仅激活 6B 参数。性价比无与伦比。 新特性：🥳 - 下一代架构：GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器，作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低：训练成本仅为 Qwen3.7-Plus 的 1/9，同时在各方面表现均优于后者，在编程和办公任务上尤其突出。 - 性能强劲：在 DeepSWE 1.1 上得分 58.7，在 SWE-bench Pro 上得分 62.5，在 CoWorkBench 上得分 73.9，在 AndroidWorld 上得分 84.5，在 MathVision（带 CI）上得分 95.7。 - 原生 262K 上下文，可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重，让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么！👀👇 - 博客：https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告：https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face：https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next
推荐理由：原文给出了本地运行所需的内存档位与量化精度权衡，读者可据此判断自己的设备能否跑动这个 MoE 模型。
公众号：腾讯混元精选AI 评分6767 腾讯混元将端侧翻译模型 Hy-MT2-1.8B 压缩至 440MB，已落地哔哩哔哩直播弹幕翻译
腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB，翻译质量几乎无损，在 FLORES-200 上优于 Microsoft Translator 等商业 API。该模型已联合英特尔完成 x86 适配，并在哔哩哔哩直播弹幕实时翻译中落地，单条弹幕翻译耗时 500~800ms。
推荐理由：相比精度数字，这套量化给出 x86 优化和直播弹幕实测数据，让端侧替代云翻译 API 的成本与隐私权衡有了可对照的工程基线。
Apple：Newsroom精选AI 评分5555 Apple 发布 M6 与 M5 Ultra，性能与 AI 算力大幅跃升
Apple 推出首款 2nm 芯片 M6，搭载 12 核 CPU、12 核 GPU 及双 16 核神经引擎，统一内存带宽最高 170GB/s，多线程性能较 M5 提升 1.2 倍。M5 Ultra 采用首款四芯片封装架构，最高 36 核 CPU、80 核 GPU，带宽达 1.2TB/s，较 M3 Ultra 提升 50%。两款芯片分别用于新款 Mac mini 与 Mac Studio。
推荐理由：M5 Ultra 的 512GB 统一内存和 1.2TB/s 带宽，让数百亿参数模型可以完全在本地运行，降低了大模型本地部署的硬件门槛。
Apple：Newsroom精选AI 评分6464 Apple 推出搭载 M5 Max 与 M5 Ultra 的全新 Mac Studio
Apple 发布搭载 M5 Max 与全新 M5 Ultra 的 Mac Studio，AI 性能最高提升 4.3 倍，图形性能提升 1.8 倍，存储速度提升 2 倍。M5 Ultra 版本支持最高 512GB 统一内存与 1.2TB/s 内存带宽，可完全在设备端运行大型 LLM；四台集群可带来最高 3 倍分布式 AI 推理速度提升。新品今日起接受预购，9 月 22 日开售。
推荐理由：M5 Ultra 的 512GB 统一内存与每 GPU 核神经加速器，让本地运行超大规模 LLM 从演示走向可用，云成本与 token 计费不再是部署前置条件。