跳到正文
  1. Liquid AI 模型与工程博客68

    Liquid AI 发布 LFM3 多模态开源权重模型家族,2B 级覆盖文本、视觉、音频、omni 和决策模型

    Liquid AI 发布新一代 LFM3 模型家族,以 LFM3-1.7B-Base 为共享骨干,首批开放六个 2B 级模型(文本、视觉、音频、omni 及两个决策模型)的开放权重,可在 Hugging Face、Playground 和 Liquid AI API 获取。

    推荐理由:原文给出 LFM3 各模型的具体架构、基准和端侧性能数据,读者可以据此评估小参数量多模态模型在本地方案中的可行性。

  1. Apple:Newsroom60

    Apple 发布搭载 M6 芯片的 14 英寸 MacBook Pro,起售价 $1,999

    Apple 发布搭载全新 M6 芯片的 14 英寸 MacBook Pro,配备 12 核 CPU 和 12 核 GPU,相比 M5 图形性能最高快 30%、端侧 AI 工作负载最高快 25%,电池续航最长 24 小时。新机支持 Wi-Fi 7 和蓝牙 6,可本地运行 LLM,10 月 28 日开启预购、11 月 6 日发售,起售价 $1,999(教育优惠 $1,899)。

    推荐理由:官方发布稿给出 M6 相对 M5 和 M1 的具体性能数字、端侧 AI 能力与售价,读者可据此评估是否值得升级。

  1. NVIDIA:Newsroom74

    NVIDIA RTX Spark 笔记本今日开售,主打 128GB 统一内存与本地 AI

    NVIDIA 宣布 RTX Spark 笔记本正式开售,来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI,起价 $2,599。

    推荐理由:原文来自 NVIDIA 官方发布,完整列出 RTX Spark 的硬件规格、AI、创作与游戏能力和首发机型,可据此评估本地 AI PC 的实际用途。

  1. Black Forest Labs:Blog77

    Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein(5.6B)

    Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。

    推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。

  2. NVIDIA Blog71

    NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型

    NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。

    推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。

  1. Liquid AI 模型与工程博客63

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    Liquid AI 发布开源权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活 2B,定位端侧快速智能体。

    推荐理由:原文给出完整基准对比、端侧推理速度和开源权重入口,读者可据此评估该模型在本地智能体场景的适用性。

  1. NVIDIA Blog72

    NVIDIA RTX Spark 笔记本 10 月 16 日上市,生态伙伴同步推出本地 AI 软件更新

    NVIDIA 官宣 RTX Spark 笔记本将于 10 月 16 日发售,配合发布推出覆盖 Agent、创意和开发工具的软件更新,该超芯片具备最高 128GB 统一内存和 1 petaflop AI 算力。

    推荐理由:官方汇总了 RTX Spark 上市前的软件生态准备,从本地 Agent、创意应用到开发工具和 DLSS 5,读者可据此了解平台落地细节。

  2. Anthropic:Research76

    Anthropic 研究:小型 AI 模型可能接近在 IoT 设备上自主复制

    Anthropic 发文评估小型模型在无数据中心条件下自主复制(ARA)的可行性,作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理,30B 及以下模型已能完成复制的多数单步。

    推荐理由:Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路,读者可据此评估 AI 蠕虫这类威胁的近期可行性。

  1. Google Developers Blog70

    Google 开源 ML Drift 端侧 GPU 推理引擎,接替 TFLite GPU delegate

    Google AI Edge 团队以 Apache 2.0 许可开源 ML Drift,一个跨平台端侧 GPU 推理计算引擎,作为 LiteRT 的核心 GPU 加速层。

    推荐理由:原文给出跨平台 GPU 推理引擎的架构升级、性能数据和生产落地案例,端侧 AI 开发者可据此评估迁移路径。

  1. Liquid AI 模型与工程博客61

    Liquid AI 发布开源决策模型 d1-3B 和 d1-omni-600M

    Liquid AI 发布开源权重决策模型 d1-3B 和 d1-omni-600M,已在 Hugging Face 上提供。

    推荐理由:官方公开了模型架构、训练细节和各硬件延迟数据,读者可以据此评估小参数决策模型在边缘部署中的取舍。

  1. Google DeepMind:Blog70

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,以 Apache 2.0 许可开源,将文本、代码、图像、视频和音频映射到统一嵌入空间。

    推荐理由:官方发布给出参数量、内存占用、维度裁剪和基准分数等具体细节,读者可据此评估端侧多模态嵌入方案的可行性。

  2. Google Developers Blog68

    Google DeepMind 发布多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2,将文本、图像、视频帧和音频映射到统一向量空间,参数量 740M。

    推荐理由:原文给出内存占用、延迟和多种开发入口的具体数据,读者可以据此评估在本地多模态检索场景的落地方式。

  1. NVIDIA Blog67

    NVIDIA DGX Spark 推出 64GB 版本,10 月 23 日起以 $4,999 开售

    NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置,10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售,起步价 $4,999,支持最高 1000 亿参数模型在端侧运行。

    推荐理由:官方公告给出64GB版的价格、上市时间和双机集群性能数据,读者可以据此评估本地AI部署的内存与成本取舍。

  1. Artificial Analysis 完整文章64

    Artificial Analysis 开源 AA-AgentPerf-Local,测试笔记本与工作站上本地 AI 智能体推理性能

    Artificial Analysis 发布开源工具 AA-AgentPerf-Local,通过重放 8 个真实智能体任务(168 轮、上下文增长至约 56K tokens)测试本地推理性能,并上线笔记本与工作站排行榜。

    推荐理由:原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置,可帮读者在搭建本地 agent 前做选型比较。

  1. Ollama:Blog69

    Ollama 支持基于 Jev API 的决策模型,新增 nimble 等三款模型

    Ollama 0.35 通过新 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型,可在本地一次请求回答多个命名问题,适合工单分诊、模型路由和内容审核等快速决策任务。

    推荐理由:官方宣布本地运行决策模型,给出延迟数据和 API 用法,可帮助读者评估本地快速决策场景的可行性。

  1. Google Developers Blog60

    Antigravity SDK 支持本地模型,首发 Gemma 4 26B A4B 配合 LiteRT

    Google 宣布 Antigravity SDK 支持本地工作流,首发支持通过 Google AI Edge 的 LiteRT 运行 Gemma 4 26B A4B,可完全离线获得智能体辅助能力,建议机器配备超过 24GB VRAM 或统一内存。

    推荐理由:官方给出完整的本地模型接入步骤和混合编排示例,开发者可以直接照此把智能体工作流搬到离线环境。

  1. vLLM 官方博客74

    vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0,把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon,由 MLX 和 Metal 执行模型,版本号与上游 vLLM 对齐。

    推荐理由:官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。