跳到正文
#多模态
10月15日周四
  4. OpenRouter47

    我们给 Clef Omni 喂了一张照片、3 秒的滋滋声、一段 2 秒的热狗摊视频，还有"午饭？"这个词。 它说：热狗，96.5%。 Decisions 的音频 + 视频输入已在 OpenRouter 上线。四种模态，一次调用，输出概率而非 token。输入 $0.15/M，输出免费。

    引用Cloudflare@Cloudflare

    We are expanding the Clef decision model family with Clef-omni, natively processing audio, video, images, and text in a single pipeline. We’ve also lowered Clef-flash pricing and boosted Clef inference speeds by up to 2.0x. https://cfl.re/4s6nYeD

  6. TechCrunch：AI51

    YouTube Music 推出 AI 生成音乐标签系统

    YouTube Music 于周三宣布推出新的标签系统，帮助听众识别使用生成式 AI 参与作曲或人声创作的歌曲。标签将显示在播放页面并同步到主 YouTube 应用，合作伙伴需通过 Fully Gen AI、Partly Gen AI 或 No Gen AI 三种 designation 声明 AI 使用情况，Auto-Tune 等音高修正不视为生成式 AI。

  9. Rohan Paul57

    AI 创业公司 Expand 发布 Expand Fetch，让 AI Agent 读取网页时保留图标、表格和隐藏数据。工具使用视觉模型 Iris 像人一样看页面，另配 JSON 模型 X-Ray 提取页面背后的隐藏数据；每次抓取存为快照，Markdown 每行可回链来源以便追踪。

    引用Tim Suchanek@TimSuchanek

    Introducing Expand Fetch, a new way to scrape and crawl the web. Your agent has never seen the web. No wonder it gets basic questions wrong. Traditional Markdown APIs lose critical details. So we trained two System one models to change that: Iris, a vision model that sees pages like you do, preserving tables, icons, and layouts. X-Ray, a JSON model that uncovers the hidden data behind every page. Every fetch also comes with a Wayback Machine. Every line links back to its source, so you can verify exactly what your agent saw. Three products. One API. On our benchmark of 1,094 questions across 326 challenging web pages, agents using Expand got 74% right. The next best API got 55%. Available today at $1 per 1,000 fetches. Try it at http://expand.ai

  10. Apple Machine Learning Research59

    Apple 发布三模态掩码扩散模型设计空间研究

    Apple 团队发布首个从零预训练的三模态掩码扩散模型（MDM）研究，在文本、图文和音频文本数据上训练。论文系统分析了多模态缩放规律、模态混合比例、噪声调度和 batch size 影响，提出基于 SDE 的重参数化方法免去调优最优 batch size，并在 3B 模型规模（6.4T tokens）上验证了文本生成、T2I 和 T2S 任务的表现。

  11. Hugging Face 社区博客54

    Ai2 发布 HiRO-ACEv2，以约 X-SHiELD 三百分之一的成本生成全球 3 公里气候数据

    Ai2 发布 HiRO-ACEv2，新降尺度模型 HiROv2 可同时预测多种高分辨率要素，对百万分之一概率的极端风雨压事件，高分辨率统计误差在 3% 以内。系统生成全球 3 公里气候数据成本约为 X-SHiELD 的 1/300，10 年模拟中飓风能量与 X-SHiELD 相当，但目前只能用于与 X-SHiELD 对齐的气候，尚不支持更暖未来或 ERA5 等历史数据。

10月14日周三
  3. 公众号：卡尔的AI沃茨66

    实测 Gemini 4 Argon 写作能力，统一 1M 输入输出窗口

    作者实测 Google Gemini 4 Argon 的写作能力，让其以起点修真小说风格自写更新公告。该模型统一了 100 万 token 的输入输出窗口（此前输出上限为 64K），官方称回答更直接、减少套话、更好遵循提示词。API 定价为百万输入 2 美元、百万输出 10 美元，11 月 30 日后价格翻倍。

  5. OpenBMB51

    OpenBMB 转发 @fahdmirza 对 MiniCPM-V 4.7 1B 的动手实测视频。该 10 亿参数视觉模型可在手机上运行，实测者用 llama.cpp 和 Ollama 安装 GGUF，完成了照片读模拟时钟、时钟图生成可用 HTML、解二次方程、数十种语言手写翻译及肢体语言场景识别等任务，视频同时呈现了成功与失败结果。

    引用Fahd Mirza@fahdmirza

    🚀 Tiny model, big test: MiniCPM-V 4.7 1B, hands-on 📱 A one billion parameter vision model that fits on a phone 🔹 Installed the GGUF with llama.cpp and Ollama 🔹 Read an analog clock from a photo 🔹 Turned that clock photo into working HTML code 🔹 Solved a quadratic from a school math sheet 🔹 Handwriting translation across dozens of languages 🔹 Funny scene test: spotting body language and backstory 🔥 Honest results, wins and fails, in the full video below 👇 https://youtu.be/40FXBcRz4_k?si=UGnvZNh0AN5f4aDL @OpenBMB

  12. Demis Hassabis72

    Google 发布 Gemini 4 Argon，今日起向 GeminiApp 与 Search 的 Ultra 和 Pro 订阅用户开放，Ultra 用户也可在 Antigravity 中使用。引用内容称其在知识工作和编码方面表现好，并展示了用其生成的 wizard chess 游戏以体现物理理解和 3D 建模能力。Demis Hassabis 转发并调侃模型名与氩激光器的联系，引用了电影《Real Genius》中的台词片段。

    引用Demis Hassabis@demishassabis

    Gemini 4 Argon 在知识工作和编程方面表现出色——而且用它来构建东西超级有趣！我们让它制作了这个巫师棋游戏，看到 Argon 的物理理解能力和 3D 建模能力真是太酷了，让我怀念起 Amiga 上的 Battlechess——美好时光！ Argon 今天开始在 @GeminiApp 和搜索中向 Google Ultra 和 Pro 订阅用户推出，并在 @antigravity 中向 Ultra 订阅用户推出！更多信息和完整可用性见博客：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon/

    同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

  14. Google DeepMind：Blog85

    Google DeepMind 发布 Gemini 4 Argon，全球上线 API、Gemini 应用和 Antigravity

    Google DeepMind 发布 Gemini 4 Argon 并全球开放，定价为每百万输入 token $2、输出 $10（缓存输入 95% 折扣），支持 1M 统一输入输出 token 上限，并在 Vals Index 排名第一。

    同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

10月13日周二
  4. Apple：Newsroom57

    Apple 发布搭载 Siri AI 的新一代 Apple TV 4K

    Apple 发布新一代 Apple TV 4K（第 4 代），内置 Siri AI 和远场麦克风，主打全屏对话式搜片与免提交互。Siri AI 以 beta 形式登陆 tvOS 27.2，支持 Apple TV 4K 第 2 代及后续机型，首发于美国、澳大利亚、加拿大、印度、新西兰、新加坡、南非和英国；新机定价 $299（美国），美国等 30 个国家和地区今日起预购，11 月 13 日上市。

  5. Apple：Newsroom60

    Apple 发布 7 英寸智能音箱 HomeView，售价 299 美元并搭载 Siri AI

    Apple 发布配备 7 英寸 Liquid Retina 显示屏的 HomeView，集娱乐、FaceTime、家庭监控和语音自动化于一体，标准版与壁挂版均定价 299 美元，11 月 13 日起在美英加澳等市场发售。

    推荐理由：官方通稿完整给出了定价、上市时间和 Siri AI 能力边界，还说明了欧盟不发售的原因。

  6. OpenRouter42

    Scaledown 的约束解码模型家族（Summarize、Extract、Classify-1）已在 OpenRouter 上线，每个模型专为单一任务打造，支持长文本/图片/PDF 摘要、自然语言定义字段提取 JSON、自定义标签分类。发布期 8 折优惠：输入 $0.04/M tokens，输出免费。

    引用Neal Patel@neal_k_patel

    You already gave the LLM the answer. So why is it writing it out from scratch? Introducing a new AI model architecture: Constrained Decoding Models (CDMs) LLMs were built to write. Most production workloads just need an answer: fast, consistent, and affordable. CDMs are purpose-built for 1 task each. They read your input once and skip the token-by-token generative loop that makes LLMs slow and expensive. Not just a decision model, but a family of 3 CDMs live today: • Classify: define your labels and get back a calibrated probability + reason for each. Used for routing, tagging, and intent detection. • Extract: describe the entities in natural language and get back well-formed JSON with confidence scores + citations. Used for web scraping, document processing, and PII redaction. • Summarize: pass in long text, images, or PDFs and get back a consistent summary under 1,000 tokens. Used for context compaction, metadata generation, and transcript digests. Built for production: • 1M tokens of multimodal (text + image) input, 31x larger than Jev • 77.2% on DecisionBench vs Jev's 72% • 200x faster, 467x cheaper than frontier LLM APIs • $0.05/M input tokens. Output is free (yes, even for summarize) Live on your favorite platforms today: @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus Get 50M input tokens for free (for the first 50 hours) at link below 👀

  7. Rohan Paul54

    ScaleDown 发布 3 个面向单一任务的 Constrained Decoding Models（Classify、Extract、Summarize），不做逐 token 生成，只对输入做一次 prefill 并从原文中直接选出答案。

    引用Neal Patel@neal_k_patel

    You already gave the LLM the answer. So why is it writing it out from scratch? Introducing a new AI model architecture: Constrained Decoding Models (CDMs) LLMs were built to write. Most production workloads just need an answer: fast, consistent, and affordable. CDMs are purpose-built for 1 task each. They read your input once and skip the token-by-token generative loop that makes LLMs slow and expensive. Not just a decision model, but a family of 3 CDMs live today: • Classify: define your labels and get back a calibrated probability + reason for each. Used for routing, tagging, and intent detection. • Extract: describe the entities in natural language and get back well-formed JSON with confidence scores + citations. Used for web scraping, document processing, and PII redaction. • Summarize: pass in long text, images, or PDFs and get back a consistent summary under 1,000 tokens. Used for context compaction, metadata generation, and transcript digests. Built for production: • 1M tokens of multimodal (text + image) input, 31x larger than Jev • 77.2% on DecisionBench vs Jev's 72% • 200x faster, 467x cheaper than frontier LLM APIs • $0.05/M input tokens. Output is free (yes, even for summarize) Live on your favorite platforms today: @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus Get 50M input tokens for free (for the first 50 hours) at link below 👀

  9. Tripo46

    仅用 16 天打造的惊艳《小王子》3D 改编作品。 @Saccc_c 用 Tripo、@Blender 和 Opus 5.5 @ClaudeDevs 构建了这个互动世界，干得漂亮。期待开源发布。

    引用Sac@Saccc_c

    花费16天，我用 Opus 5.5 将小王子的故事制作成了3D剧情游戏 结合Tripo+Blender，Opus 5.5 将小王子故事中的每一个星球变成了可探索的3D场景 希望大家能支持一手，后续会开源整个游戏，以及详细制作流程 Welcome to The Little Prince: Across the Stars✨：https://littleprince.dev/

  10. 公众号：面壁智能68

    面壁智能开源 MiniCPM-V 4.7，35B-A3B MoE 模型 3GB 内存端侧流畅运行

    面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7，包含 35B-A3B 和 1B 两个版本，称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。

    推荐理由：原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节，读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。

  11. OpenBMB59

    面壁智能 OpenBMB 转发社区分享，介绍 MiniCPM V4.7：35B-A3B 端侧 MoE 版在 iPhone 17 Pro Max 上以约 3GB 内存达到 13+ tok/s，综合得分和推理时间优于 Qwen3.6 35B-A3B。1B 轻量 VLM 在性能和效率上均优于 Qwen3.5 0.8B；两版本支持图像、多图与视频理解，4×/16× 视觉 token 压缩，覆盖 iOS、Android 与 HarmonyOS，采用 Apache 2.0 协议。

    引用Adina Yakup@AdinaYakup

    Let's start the week with MiniCPM V4.7 from @OpenBMB 🔥 ✨ 35B-A3B: On-device MoE - 35B/ 3B active ⚡️ - 13+ tok/s on iPhone 17 Pro Max with ~3GB RAM - Outperforms Qwen3.6 35B-A3B in overall score AND inference time ✨1B: Ultra-lightweight VLM - Outperforms Qwen3.5 0.8B in BOTH performance & efficiency ✨ Both support: - Image, multi-image & video understanding - Efficient 4×/16× visual token compression - iOS, Android & HarmonyOS - Apache 2.0