Mac 版 Perplexity Computer 新增端侧模式,要求 36GB 统一内存
据 9To5Mac 报道,Mac 版 Perplexity Computer 新增端侧模式,可完全在设备端运行 AI 模型和智能体,无需联网即可完成任务规划、推理和文件处理,用户批准后文件才上传云端。
据 9To5Mac 报道,Mac 版 Perplexity Computer 新增端侧模式,可完全在设备端运行 AI 模型和智能体,无需联网即可完成任务规划、推理和文件处理,用户批准后文件才上传云端。
AnyLanguageModel 1.0 正式发布,同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
Google 宣布 Coral NPU 32 位架构全部四个里程碑完成,新增 Matrix Execution Unit 可配置至 1 TOPS、目标推理平均功耗 10mW,完整 RTL 已在 GitHub 开源。
Spent some time experimenting with MiniCPM-V4.7 35B-A3B and built this Neo-Brutalist portfolio UI, featuring bold colors, chunky layouts, and a slightly unconventional visual style. What makes this experiment interesting is the model behind it. OpenBMB’s MiniCPM-V 4.7 is pushing multimodal AI toward more practical deployment on everyday hardware. With 35B total parameters but only 3B activated at a time, MiniCPM-V 4.7 35B-A3B delivers 17+ tokens/s on iPad Pro M4 (16GB) and 13+ tokens/s on iPhone 17 Pro Max, using just ~3GB of memory in its optimized mobile setup. 🤯 There’s also a compact 1B variant designed for tasks like OCR, chart, math, and general understanding. Both variants support a 256K context window, and the model weights, inference code, and fine-tuning code are open source. For me, the interesting part of multimodal AI is its potential to work with visual information beyond text, and to make those capabilities more accessible through efficient, flexible deployment. Explore MiniCPM-V 4.7 from @OpenBMB: GitHub:http://github.com/OpenBMB/MiniCPM-V Hugging Face:http://huggingface.co/collections/openbmb/minicpm-v-47
I built an automated report generator that runs entirely on my own machine. Input: structured data + charts. Output: a full long-form report — earnings interpretation, weekly summaries, whatever you need. No API. No cloud. No monthly bill. -> Here's MiniCPM-V 4.7 35B-A3B doing exactly that 👇 It read the charts AND the dense tables in one pass, then streamed out analyst-grade markdown: scorecard, segment breakdown, margin drivers, cash flow, even a bull/bear case. The part that got me: it didn't just OCR numbers. It connected them — input costs → margin pressure → guidance risk. That's the jump from "text extraction" to "actual analysis." Why this works locally: → 35B total params, only ~3B active (MoE) → Efficient visual encoding keeps multi-chart inputs cheap → Structured markdown output — goes straight into your doc pipeline Try it GitHub: http://github.com/OpenBMB/MiniCPM-V Hugging Face: https://huggingface.co/collections/openbmb/minicpm-v-47
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
感谢 @atomic_chat_hq 帮助将 Ming-3.0 带入本地 AI 工作流,让开放语音模型更易获取!
Run @AntLingAGI speech models locally 🎙️ Ming-3.0 is 5 open models that talk, listen and write down what you say Its voice model now ranks #1 among open models on Artificial Analysis starting at just 0.5B Run AI models locally -> https://atomic.chat
Google 发布 LiteRT Tensor API,一个轻量 C++ 模型编写层,可在 CPU、GPU(ML Drift)、NPU 上运行同一计算图,或经 XNNPACK 无需模型文件直接在 CPU 运行。
Nvidia 于周四发布面向常驻 Agent 和边缘计算的开源模型。
世界银行正敦促发展中国家开发可在手机等设备端侧运行的小型 AI 模型,以帮助网络条件较差的地区发挥 AI 潜力。首席知识官帕斯卡尔·多诺霍表示,AI 可加速新兴经济体发展,但须按当地需求调整,并以印度农民用手机运行小型 AI 分析土壤的 AgriConnect 计划为例。世界银行将与各国政府和私营部门合作推动这类产品问世。
推荐理由:作者亲测 RTX Spark 上的本地模型部署路径,并把整套流程封装成 WorkBuddy 专家,读者可以照着复现本地 Token 自由的用法。
NVIDIA RTX Spark 笔记本现已开售,起售价 $2,399,来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI。RTX Spark 超级芯片组合 Blackwell RTX GPU 与 Grace CPU,提供最高 1 petaflop AI 算力和 128GB 统一内存,面向本地 AI、内容创作和游戏。
Perplexity Decider Flash 相当不错,运行速度极快,还能在你的 M4 Mac 16GB 上端侧运行。
Perplexity Flash takes the crown! ⚡ In our tests, it matched Wald's accuracy at nearly twice the speed on a 16 GB Mac mini. Synthetic agent decisions, real email threads, prompt injections: see why Flash is our new pick for email-completion checks. 👇 https://x.com/i/article/2111461650440110080
数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由:作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型,并给出可复用的WorkBuddy专家整合流程。
JetBrains 于 10 月 16 日宣布本地 AI 编程工具 Junie Local 已 Day 0 适配英伟达 RTX Spark 平台,初步测试生成速度最高每秒 55 个词元,Windows 支持也升级为稳定版。
NVIDIA RTX Spark is here. Build AI locally, bring your creative ideas to life, and take your favorite games along. A new beginning for @Windows PCs starts today.
NVIDIA 发布面向 AI 开发的 RTX Spark 笔记本与小型台式机,基于 GB10 SoC 和最高 128GB 统一内存、1 petaflop FP4 算力,可在单机上运行本地编码智能体并完成编码、测试与部署。
NVIDIA 宣布 RTX Spark 笔记本正式开售,来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI,起价 $2,599。
推荐理由:原文来自 NVIDIA 官方发布,完整列出 RTX Spark 的硬件规格、AI、创作与游戏能力和首发机型,可据此评估本地 AI PC 的实际用途。
PrismML 于 10 月 15 日发布 Ternary Bonsai 2 系列模型,含 2B、4B、9B 三种规模,基于 Qwen 3.5 基座,采用 -1、0、+1 三元权重表示,存储占用分别约 0.43GB、0.95GB 和 2GB,目标在手机、PC 和可穿戴设备上本地运行智能体。
面壁智能介绍独立开发者基于 VoxCPM2 构建的端侧实时同传系统 VoxWeft,麦克风输入、语音分段、ASR、翻译、流式 TTS 和播放全部在 Apple Silicon 本地运行,代码与开发日志已开源。
Meta 发布公开权重模型 Muse Spark Open,总参数量 8160 亿、活跃参数 420 亿、上下文窗口 100 万 token,面向编程、Agent、多步推理与软件工程场景。
Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 测试结果,该机搭载 GB10 芯片(20 核 Arm CPU、6,144 核 Blackwell GPU、最高 128 GB LPDDR5X),内存带宽 300 GB/s,芯片功耗 45 至 80 W。
Meta 发布 Muse Spark Open AI 模型,称其为迄今最强的美国开放权重模型,权重今日放出。Meta 称该模型是同类中首个可在桌面端用两台 Apple M5 Ultra Mac Studio 配合最新 MLX 框架运行的模型。
NVIDIA 宣布 RTX Spark PC 于次日发布,主打创作者、游戏玩家和 AI agents,并在10月16日于旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办线下体验活动。
作者实测了上周发布的首批 Nvidia RTX Spark Arm 架构 AI 笔记本,介绍 Windows 为其做的适配工作。
NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。
推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。
Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。
推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。
英伟达发布开放多模态模型 Nemotron 3.5 Super VL,采用 MoE 架构,总参数 1200 亿、激活 120 亿,将推理、工具调用与文本、图像、文档及视频理解整合,官方称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍。
PyTorch 官方与 Arm 合作宣布 ExecuTorch 的 Cortex-M 后端,使 PyTorch 模型无需转换为其他框架格式即可直接运行在 Arm Cortex-M CPU 上,并利用 CMSIS-NN 加速,单一工作流支持 Scalar、DSP 和 MVE/Helium 全部能力层级。
Apple 发布折叠屏 iPhone Duo,展开后是迄今最薄的 iPhone,内屏比 iPhone 18 Pro Max 大 50%(对角 7.58 英寸),合上时外屏 5.4 英寸(对角 5.36 英寸)提供 iPhone 18 Pro 约 90% 的屏幕面积。
MiniCPM-V 4.7 is now open source on ModelScope: a 35B-A3B MoE multimodal model built to run on-device without compromising performance. Apache 2.0. 🤖 https://modelscope.ai/collections/OpenBMB/MiniCPM-V-47 📱 First open-source MoE with smooth, lossless on-device inference, running at 13+ tokens/s on iPhone 17 Pro Max. 🔥 New Pareto frontier: in Instruct mode, it reaches a higher overall score in less inference time than Qwen3.6 35B-A3B. ⚡ Mixed 4x/16x visual token compression lets developers balance visual detail and inference cost per task. 🛠️ Two sizes (35B-A3B and 1B) with FP8, GPTQ, AWQ, BNB, and GGUF variants. Works with SGLang, vLLM, llama.cpp, Ollama, SWIFT, and LLaMA-Factory. 💻 Runs on iOS, Android, and HarmonyOS, with day-0 support for Rockchip, Houmo, Intel, AMD, and Arm.