跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

181 条精选近 30 天 23 条共收录 1,921 条

更新

精选归档 · 第 5 页

6月17日周三第 81–100 条
  1. Tomasz Tunguz 博客62

    5x for Free:本地编程栈

    Hacker News 讨论揭示:Qwen 3.6 35B-A3B 模型提及率 33% 领先,27B 变体以 20% 紧随其后,DeepSeek Pro 与 Gemma4 31B 位列前四。Agent 工具中 Pi (49%) 与 OpenCode (45%) 占主导。用户对比称,Claude Opus 可带来 15 倍加速,而本地离线 Qwen 提供 5 倍加速,且完全免费、保护隐私。SWE-bench Verified 基准测试显示,Qwen 3.6 27B 得分 77.2%,35B-A3B 得分 73.4%,接近 Claude Sonnet 4.6 的 79.6%。MoE 架构使大模型在消费级硬件上高效运行。

    推荐理由:本地模型在编码上正逼近云端前沿,Qwen 35B-A3B 已成社区标配,免费且完全离线让这场替代变得真实,选型逻辑可能从此改变。

6月13日周六
  1. 公众号:通义实验室79

    MNN 适配 SME2 使 Qwen3-VL-4B 在端侧实时推理

    MNN 推理引擎深度适配 Arm SME2 指令集,使 Qwen3-VL-4B-Instruct 在支持 SME2 的 vivo X300 上实现实时多模态推理。Prefill 阶段性能提升 81%,Decode 阶段提升 13%。MNN 采用编译时内建 + 运行时自动检测设计,默认开启 SME2 加速。该模型为 4B 参数视觉语言模型,支持图文理解和对话,通过 MNN 官方已转换量化的模型可直接下载部署,开发者可通过编译开关一键开启硬件加速。

    推荐理由:这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

6月12日周五
  1. IT之家·人工智能75

    苹果 iOS 27 健康 App 大改:卡片布局、营养识别、围绝经期追踪

    苹果在 iOS 27 中优化健康 App,将列表改为卡片布局并增加导航栏。新增视觉智能营养识别,用户通过相机 Siri 模式拍摄食物可获取加工程度、蛋白质、含糖量等信息及营养价值评级,不提供精确卡路里,需 iPhone 15 Pro 及以上。经期追踪扩展支持围绝经期,可分析长期周期异常模式并推送提醒与指导。Fitness+ 新增围绝经期和绝经期课程。数据同步速度提升,GymKit 扩展至 iPhone,无需 Apple Watch 即可与健身设备配对同步数据。

    推荐理由:视觉智能营养识别不能给精确卡路里,但那个“深度加工食品”提醒对普通人很实用,健康App这次更新算得上近年最有用了。

6月11日周四
  1. 公众号:通义实验室72

    通义实验室详解如何用 Arm SME2 与 MNN 让 Qwen3-VL 在手机端侧提速

    通义实验室利用 Arm SME2 指令集与 MNN 推理引擎,在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%,Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计,开发者无需手动配置。

    推荐理由:将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程,并给出 prefill 阶段 81% 提升的实测参考,为端侧多模态部署提供了可量化的工程路径。

6月9日周二
  1. 公众号:火山引擎69

    全新汽车品牌AIVA发布,火山引擎助力打造AI汽车新体验

    由赛力斯、宁德时代等多方产业资本组建的AI出行品牌AIVA正式发布。火山引擎提供豆包大模型、智能座舱等技术服务。概念车AIVA Origin Concept亮相,首款量产车AIVA ME7将于2026年内亮相,全系覆盖20万元以上市场。AIVA提出“AI定义汽车”路径,让汽车成为具身AI生命体。火山引擎副总裁表示,人与汽车的关系将实现交互、智能、感受三方面根本转变。未来双方将围绕AI交互、智能体验、情感陪伴深度共创。

    推荐理由:AIVA把「先有AI再有车」当作造车逻辑,火山引擎直接下场定义汽车AI体验,这是豆包大模型从软件跑到物理世界的第一次大规模试水,做具身智能和车载产品的人该仔细看看。

  2. Apple Machine Learning Research79

    苹果发布第三代 Apple Foundation Models(AFM)

    苹果推出第三代 Apple Foundation Models(AFM)基础模型家族,与 Google 合作定制,包含五个模型,覆盖从设备端到基于 Private Cloud Compute 的服务器端模型。这些模型旨在驱动 Apple Intelligence 功能,包括全新 Siri 和智能工具,以用户为中心深度融合操作系统,隐私为核心设计原则。

    推荐理由:Apple与Google罕见联手推出的第三代基础模型,直接为下一代Siri和系统级AI功能铺路,标志着消费级AI的深度整合,产品经理和iOS开发者必须关注。

  3. Apple:Newsroom66

    Apple 推出 Siri AI:由 Apple Intelligence 驱动的更强大、更个性化的个人助理

    Apple 发布了 Siri AI,一款由 Apple Intelligence 驱动的个人助理,具备个人上下文、世界知识和屏幕感知能力,能提供更强大、更个性化的交互体验。

    推荐理由:苹果对 Siri 的这次重构不是简单地换个模型,它把个人上下文、屏幕感知和视觉智能实际嵌进了系统,对普通用户来说日常交互方式可能要变。

6月8日周一
  1. 公众号:通义实验室68

    Agent 辅助开发,一站式打通 Qwen3-VL Android 端侧推理

    通义实验室教程演示了如何用 Agent(Qoder)辅助完成 Qwen3-VL-2B 模型在 Android 端侧的全流程部署。操作包括:检查 JDK 21、NDK 27、CMake 3.18.1 等环境;创建 arm64-v8a 的 Native C++ 工程(minSdk 29、compileSdk 35);通过 ModelScope CLI 下载约 1.4GB 的 MNN/Qwen3-VL-2B-Instruct-MNN 模型;编译开启 LLM 视觉支持(MNN_BUILD_LLM、LLM_SUPPORT_VISION)的 libMNN.so;构建 APK 并推送模型至手机私有目录。最终 App 提供图文推理页面,输出 MNN 版本(v3.5.0)、ABI 及推理指标。所有繁琐步骤均可由 Agent 自动执行。

    推荐理由:用Agent辅助走通Qwen3-VL安卓端侧推理全流程,从环境搭建到JNI桥接一步到位。如果你在做移动端AI应用,这可能是目前最详细的实战指南,可以直接抄作业。

  2. 公众号:通义实验室67

    Agent辅助开发:通义实验室教程打通Qwen3-VL Android端侧推理

    通义实验室第二期教程展示如何利用Agent(如Qoder)自动完成Android端侧AI App开发全流程。Agent依次执行:检查并配置Android环境(JDK 21、NDK 27等)、创建Native C++工程PhotoTaggerMNN、下载约1.4GB的Qwen3-VL-2B-Instruct-MNN模型、编译支持视觉能力的libMNN.so、将MNN接入工程、构建APK、推送模型至手机私有目录,最终确认MNN版本3.5.0及模型文件全部ok。核心思路是开发者定义业务目标,Agent负责环境检查、代码编写、编译构建与排错。

    推荐理由:这是一篇手把手教程,用 Agent 简化 Qwen3-VL Android 部署,对想试端侧 VL 的开发者实用,但绑定阿里生态,通用性有限。

6月6日周六
  1. Tomasz Tunguz 博客68

    AI的微型钢厂

    作者通过技能蒸馏将78%的AI工作交由Mac本地模型处理,仅复杂任务发往云端。智能体自动分类任务:简单任务本地数秒完成,复杂任务路由至云端。过去一周本地处理峰值达88%。双车道设计使吞吐量提升约25%,平均任务时长从47秒降至19秒,队列等待时间从73秒降至4秒(降幅94%)。该模式类比Nucor小钢厂,每台能运行蒸馏模型的边缘设备都成为小型AI工厂,仅对那1/5困难任务支付云费用。未来几年,数以千万计的此类设备将在企业内部增殖,逐步取代现阶段云厂商账单上的大部分工作负载。

    推荐理由:Tunguz 把自己 78% 的 AI 任务都挪到本地跑,吞吐量涨了 25%,延迟降了 60%。mini-mill 的类比把端侧 AI 的颠覆逻辑讲得比任何行业报告都清楚,做工作流自动化的值得细读。

6月5日周五
  1. IT之家·人工智能76

    Meta 智能眼镜 App 暗藏人脸识别代码,NameTag 功能已推送至超 5000 万设备

    据《连线》今日报道,Meta 通过多次应用更新将人脸识别代码推送到智能眼镜配套 App 中,代号“NameTag”。该功能利用已部署的三个 AI 模型将人脸转换为“人脸特征模板”,与手机本地数据库匹配,识别成功后向佩戴者发送通知。App 下载量超 5000 万次。Meta 回应称代码仅为探索,尚未决定推出,且不会建立中央人脸数据库。此前 Meta 曾因人脸识别问题在伊利诺伊州和得克萨斯州分别达成 6.5 亿美元和 14 亿美元和解。

    推荐理由:Meta一边付近百亿美元和解金,一边把完整人脸识别代码塞进 5000 万用户的眼镜里,「探索」这个解释太轻巧——代码都推送了,离功能上线只差一个开关。

  2. Google Research:Blog79

    Google Research 发布被动心率监测系统 PHRM

    Google Research 开发了一种被动心率监测系统(PHRM),利用智能手机前置摄像头在日常使用中(人脸解锁后数秒内)捕捉面部视频,通过深度学习估算心率,平均绝对百分比误差(MAPE)低于10%(对比心电图金标准),满足各肤色人群的行业精度标准。系统将全天心率测量整合为每日静息心率(RHR),平均绝对误差(MAE)低于5 bpm(对比可穿戴设备)。研究同时发布了迄今最大规模的公开智能手机视频数据集及预训练模型PHRM-mini,合格研究人员可申请访问。

    推荐理由:Google 这项发表在 Nature 上的研究,把手机前置摄像头变成了被动心率仪,而且专门解决了深肤色人群精度差的老问题,虽然离产品还远,但方向很对,穿戴设备的护城河可能又浅了一点。

6月4日周四
  1. MarkTechPost71

    Meet OpenJarvis:一个本地优先的设备端个人AI智能体框架,支持工具、记忆与学习

    Stanford 研究人员发布 OpenJarvis,一个完全在设备端运行推理、智能体、记忆与学习的开源框架。它将个人 AI 系统分解为五个可组合原语:Intelligence、Engine、Agents、Tools & Memory 和 Learning。该框架与最佳云端模型的性能差距在 3.2 points 以内,边际 API 成本降低约 800 倍。

    推荐理由:斯坦福这个框架把云端模型能力拉到本地,成本降了800倍,所有想做离线个人助理的开发者该试试看,开源实现比PPT有说服力。

  2. Sundar Pichai73

    Gemma 4 系列累计下载量突破1.5亿次,Google随之推出新成员Gemma 4 12B。该模型仅12B参数,可在16GB VRAM笔记本上本地运行,兼顾尺寸与性能,支持多步推理和智能体工作流。采用Apache 2.0开源许可,供社区使用。

    引用Demis Hassabis@demishassabis

    庆祝 Gemma 4 下载量突破 1.5 亿次这一里程碑,同时发布全新的 Gemma 4 12B 模型! 对于如此小巧的模型来说,它性能极其强大,而且体积足够小,仅需 16GB 显存就能在笔记本电脑上本地运行。 采用 Apache 2.0 许可证——祝大家构建愉快!

    推荐理由:Gemma 4 12B 把多步推理塞进笔记本能跑的尺寸,Apache 2.0 开源,对想做本地 agent 的开发者是实实在在的新弹药,小模型的可用性正在逼近临界点。

  3. Demis Hassabis74

    Demis Hassabis 宣布 Gemma 4 系列下载量突破 1.5 亿,并正式发布新版 Gemma 4 12B 模型。该模型是一个统一的、无编码器的多模态模型,兼具边缘端效率与高级推理能力。尽管参数规模仅为 12B,但性能强劲,且足够小巧,可在仅需 16GB VRAM 的笔记本上本地运行。采用 Apache 2.0 开源许可证,方便开发者自由构建。

    引用Google Gemma@googlegemma

    认识 Gemma 4 12B! 一个统一的、无编码器的多模态模型,旨在将高性能智能直接带到你的笔记本电脑上,并以 Apache 2.0 许可证发布。 弥合边缘效率与高级推理之间的差距。以下是 Gemma 4 12B 的新内容:👇

    推荐理由:Gemma 4 12B 用 Apache 2.0 许可把多模态模型压进笔记本,16GB 显存就能跑,端侧智能的性价比又一次被 Google 拉高,做本地推理的可以马上试试。

  4. Google Developers Blog78

    Gemma 4 12B:开发者指南

    Gemma 4 12B 是一款密集多模态模型,专为消费级设备上的高性能本地 AI 执行而设计。其采用新颖的无编码器架构,绕过传统视觉和音频编码器,将多模态数据直接输入大语言模型主干。

    推荐理由:Google 把多模态模型直接塞进消费级设备,靠的不再是缩水而是架构层面的创新。12B 放在本地跑,这次玩法变了。

6月3日周三
  1. IT之家·人工智能73

    月之暗面 Kimi Work Beta 版开启内测:面向知识工作者的通用型本地 Agent

    月之暗面今日宣布,Kimi Work Beta 版随最新版 Mac 和 Windows 客户端开启内测。Kimi Work 是基于 Kimi Code 的通用型本地 Agent,支持安装使用技能、运行定时任务,并继承在线版的专业技能与数据库,内置可调用浏览器的 Kimi WebBridge。用户用自然语言描述目标即可自动拆解任务、并行执行并交付产物。支持 Agent 集群,最高可创建含 300 个子 Agent 的团队。官方透露,Kimi Work 自身由 Kimi Code 写成,工程师一周内完成客户端开发,累计产出超 5 万行有效代码,其中 92% 由 AI 自主生成。

    推荐理由:月之暗面把AI Agent搬到了本地,不是聊天窗口,而是直接操控你的电脑。92%的代码由AI自己写的自举能力,比功能本身更吓人。做办公自动化的同行该看看怎么被卷了。

  2. Satya Nadella74

    通过Project Solara,我们正在构建一个专为智能体优先设备打造的新平台。 很高兴能与@cristianoamon和@Qualcomm合作!

    引用Cristiano R. Amon@cristianoamon

    我们正在从应用和操作系统转向智能体,这彻底改变了设备体验的方方面面。与 @satyanadella 就下一步的发展进行了一次很棒的对话。 观看我们在 #MSBuild 上的讨论。 阅读 OnQ 博客文章了解更多。https://www.qualcomm.com/news/onq/2026/06/project-solara-agent-first-computing

    推荐理由:微软和高通联手搞了个 Agent 优先的硬件平台 Project Solara,这标志着 AI 竞赛正式从模型卷到了设备,以后什么是智能终端可能要被重新定义。