跳到正文
  1. Unsloth AI77

    Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

    引用Mistral AI@MistralAI

    今天,我们发布了全新改进版 Le Chonk 的权重,推进智能体编程与网络安全领域的开放前沿。 💻 为构建而生:Le Chonk 在 @cognition 的 FrontierCode 上于开放模型中排名第一,并在 @artificialanalysis 上树立了帕累托效率的新基准。 🛡 为防御而生:网络防御领域的顶尖水平,已通过全球领先网络安全厂商的检验,包括 @CrowdStrike、@cloudflare、@rubrik、@zscaler 等。 为主权而构建:让它成为你的。在 @huggingface 上下载权重,使用 Mistral Forge 进行定制,并部署到你需要的任何地方。 阅读我们团队和客户的更多内容 👇:

    推荐理由:原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

  1. Liquid AI 模型与工程博客68

    Liquid AI 发布 LFM3 多模态开源权重模型家族,2B 级覆盖文本、视觉、音频、omni 和决策模型

    Liquid AI 发布新一代 LFM3 模型家族,以 LFM3-1.7B-Base 为共享骨干,首批开放六个 2B 级模型(文本、视觉、音频、omni 及两个决策模型)的开放权重,可在 Hugging Face、Playground 和 Liquid AI API 获取。

    推荐理由:原文给出 LFM3 各模型的具体架构、基准和端侧性能数据,读者可以据此评估小参数量多模态模型在本地方案中的可行性。

  1. Apple:Newsroom60

    Apple 发布搭载 M6 芯片的 14 英寸 MacBook Pro,起售价 $1,999

    Apple 发布搭载全新 M6 芯片的 14 英寸 MacBook Pro,配备 12 核 CPU 和 12 核 GPU,相比 M5 图形性能最高快 30%、端侧 AI 工作负载最高快 25%,电池续航最长 24 小时。新机支持 Wi-Fi 7 和蓝牙 6,可本地运行 LLM,10 月 28 日开启预购、11 月 6 日发售,起售价 $1,999(教育优惠 $1,899)。

    推荐理由:官方发布稿给出 M6 相对 M5 和 M1 的具体性能数字、端侧 AI 能力与售价,读者可据此评估是否值得升级。

  1. Unsloth AI70

    Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF,2-bit 版在缩小 45% 体积的同时保留 91.5% top 1 精度,可在 150GB 内存上本地运行,1-bit 版约 89.9%,4-bit UD-Q4_K_XL 达 98.0%。作者称其为同尺寸最强开源模型之一,并给出 Hugging Face 权重链接与本地运行指南。

    引用MiniMax (official)@MiniMax_AI

    MiniMax M3.1 Flash:太空级性能 + 兔子级速度 🚀🐰 没错,Space Bunny——曾以 200T+ tokens 登顶全球排行榜——正是 M3.1 Flash 的早期版本。 💰重新定义智能体 AI 的性能经济学。M3.1 Flash 在 Cowork(Automation-Bench:62%;ALE:30%)、编程(DeepSWE:74%)和视觉推理(BabyVision:91%)等关键任务上达到前沿级智能水平,成本仅为 M3 的 1/3,速度提升 3 倍。 API 定价(统一费率):每 1M 输入/输出 tokens 分别为 $0.15 / $0.60,缓存读取为 $0.015 / 1M tokens。 模型权重将于 10 月 23 日发布。 API:http://platform.minimax.io M Plan:https://www.minimax.io/m-plan MiniMax Code 桌面版:https://agent.minimax.io/download

    推荐理由:原文给出自建 GGUF 量化在保留精度与压缩体积间的实测数据,以及各档位所需内存,读者可据此判断能否本地部署。

  1. Aravind Srinivas65

    Perplexity CEO Aravind Srinivas 宣布,Perplexity Computer 现可在 Mac 上完全本地运行,无需云端推理,也不用 WiFi。模型和智能体都在本机运行,可操作 Mac 原生应用和本地文件,敏感数据不必发送到云端,现已在 Perplexity Mac 应用中可用。

    引用Perplexity@perplexity_ai

    Perplexity Computer 现在可以在你的 Mac 上完全本地运行。 与你的原生 Mac 应用和本地文件协同工作,运行任务时无需将敏感数据发送到云端。模型和智能体都在你的 Mac 上运行。 现已在 Perplexity Mac 应用中提供。

    推荐理由:Perplexity CEO 亲自宣布,Perplexity Computer 可完全本地运行,敏感数据无需上云,对关注隐私和离线使用的人有参考价值。

  2. 公众号:面壁智能68

    面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

    面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。

    推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

  1. 数字生命卡兹克68

    作者分享受邀参加英伟达 RTX Spark 全球开售活动后,深度使用一周华硕 ProArt 创16(128G 统一内存+1T,京东售价 37999 元)的体验,开售时 128G 版本在京东几分钟内被抢空。

    推荐理由:作者亲测 RTX Spark 上的本地模型部署路径,并把整套流程封装成 WorkBuddy 专家,读者可以照着复现本地 Token 自由的用法。

  1. 公众号:数字生命卡兹克67

    卡兹克实测37999元RTX Spark轻薄本:一周实现本地Token自由

    数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。

    推荐理由:作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型,并给出可复用的WorkBuddy专家整合流程。

  1. NVIDIA:Newsroom74

    NVIDIA RTX Spark 笔记本今日开售,主打 128GB 统一内存与本地 AI

    NVIDIA 宣布 RTX Spark 笔记本正式开售,来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI,起价 $2,599。

    推荐理由:原文来自 NVIDIA 官方发布,完整列出 RTX Spark 的硬件规格、AI、创作与游戏能力和首发机型,可据此评估本地 AI PC 的实际用途。

  2. The Verge:AI76

    Meta 发布 Muse Spark Open 模型,与 Apple 合作支持在 Mac Studio 上运行

    Meta 发布 Muse Spark Open AI 模型,称其为迄今最强的美国开放权重模型,权重今日放出。Meta 称该模型是同类中首个可在桌面端用两台 Apple M5 Ultra Mac Studio 配合最新 MLX 框架运行的模型。

    推荐理由:两家公司罕见合作发布并公开互相支持,读者可了解这款 816B 开放权重模型在 Mac 上的端侧运行方式。

  1. Black Forest Labs:Blog77

    Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein(5.6B)

    Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。

    推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。

  2. NVIDIA Blog71

    NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型

    NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。

    推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。

  1. Liquid AI 模型与工程博客63

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    Liquid AI 发布开源权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活 2B,定位端侧快速智能体。

    推荐理由:原文给出完整基准对比、端侧推理速度和开源权重入口,读者可据此评估该模型在本地智能体场景的适用性。

  1. NVIDIA Blog72

    NVIDIA RTX Spark 笔记本 10 月 16 日上市,生态伙伴同步推出本地 AI 软件更新

    NVIDIA 官宣 RTX Spark 笔记本将于 10 月 16 日发售,配合发布推出覆盖 Agent、创意和开发工具的软件更新,该超芯片具备最高 128GB 统一内存和 1 petaflop AI 算力。

    推荐理由:官方汇总了 RTX Spark 上市前的软件生态准备,从本地 Agent、创意应用到开发工具和 DLSS 5,读者可据此了解平台落地细节。

  2. 公众号:千问APP65

    千问发布AI眼镜N1/N1 Pro及首款AI耳夹式耳机并现货开售

    千问发布三款硬件新品:AI眼镜N1、N1 Pro和AI耳夹式耳机,今日在淘宝、天猫、京东、抖音等平台现货开售,眼镜到手价2218元起,耳机1099元起。

    推荐理由:官方发布三款AI穿戴硬件,原文给出具体功能差异与到手价格,读者可据此判断是否值得入手。

  3. Anthropic:Research76

    Anthropic 研究:小型 AI 模型可能接近在 IoT 设备上自主复制

    Anthropic 发文评估小型模型在无数据中心条件下自主复制(ARA)的可行性,作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理,30B 及以下模型已能完成复制的多数单步。

    推荐理由:Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路,读者可据此评估 AI 蠕虫这类威胁的近期可行性。

  4. 公众号:面壁智能68

    面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行

    面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。

    推荐理由:原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节,读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。

  1. Google Developers Blog70

    Google 开源 ML Drift 端侧 GPU 推理引擎,接替 TFLite GPU delegate

    Google AI Edge 团队以 Apache 2.0 许可开源 ML Drift,一个跨平台端侧 GPU 推理计算引擎,作为 LiteRT 的核心 GPU 加速层。

    推荐理由:原文给出跨平台 GPU 推理引擎的架构升级、性能数据和生产落地案例,端侧 AI 开发者可据此评估迁移路径。

  1. Liquid AI 模型与工程博客61

    Liquid AI 发布开源决策模型 d1-3B 和 d1-omni-600M

    Liquid AI 发布开源权重决策模型 d1-3B 和 d1-omni-600M,已在 Hugging Face 上提供。

    推荐理由:官方公开了模型架构、训练细节和各硬件延迟数据,读者可以据此评估小参数决策模型在边缘部署中的取舍。