跳到正文
#多模态
今天10月30日周五2 条
  2. Aravind Srinivas55

    Perplexity CEO Aravind Srinivas 宣布 @jakubkrehel 开发的 /teardown 技能现已在 Perplexity Computer 的技能市场上线，可将任意物体拆解并以 3D 方式交互查看内部结构。该技能能绘制带部件标注的爆炸图或剖视图，图纸可交互并导出为 SVG、PNG 或 PDF。每位用户有 5,000 试用额度，引用内容提到 11 月 6 日前使用 /teardown 的任务免费。

    引用Computer@AskPerplexity

    The Teardown skill by @jakubkrehel, now in Computer's skills marketplace, draws an exploded view or cutaway of an object, parts labeled. Drawings are interactive and export to SVG, PNG or PDF. Tasks that use /teardown are free through November 6, up to 5,000 credits per user.

10月29日周四
  1. vLLM 官方博客71

    vLLM 发布 Mistral Large 4 Day 0 支持

    vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持，该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型，采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构，并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。

    推荐理由：vLLM 团队详解支持 Mistral Large 4 所需的架构适配与量化、长上下文、推测解码等实测数据，可作部署参考。

  3. IT之家·人工智能42

    腾讯混元 Hy4、Hy4 flash 即将发布，首次引入视觉理解

    腾讯在腾讯全球数字生态大会上宣布 Hy4 即将发布，相比 Hy4 preview 全面大幅提升，强化长程与真实生产力任务能力，显著提升思维链效率，并首次引入视觉理解。Hy4 flash 也将在近期发布，定位极致性价比的实用模型，继承 Hy4 的视觉、Agent 等能力。此前 8 月 28 日发布的 Hy4 preview 总参数 770B、激活参数 49B、上下文长度 1M。

  4. IT之家·人工智能54

    首批风云卫星极端天气 AI 模型发布，台风智能云图解译模型 27 秒生成解译文本

    10 月 29 日，首批风云气象卫星极端天气人工智能模型在 2026 年风云卫星用户大会上正式发布。台风智能云图解译模型覆盖 7 类台风特征、融合 20 余种卫星实况产品，每 15 分钟解译一次，27 秒即可生成台风位置、结构、强度及演变趋势的解译文本；强对流短临预警模型利用风云四号卫星过去两小时观测，将预警时间提前至四小时。

  5. OpenRouter：Announcements76

    OpenRouter 教程：用 LLM 从 PDF 中抽取表格

    OpenRouter 发布教程，讲解如何把 PDF 以文件形式连同严格 JSON schema 发给能读文件的模型，让表格以带类型的行返回，括号亏损、千分位和脚注标记等清理都写进字段描述。

    推荐理由：OpenRouter 用五份 PDF 实测了多条抽取路由，给出严格 JSON schema 写法、两类静默失败的检查和各路由成本对比。

  9. Rohan Paul56

    Sunra 发布统一 API，用一个密钥接入主流图像、视频、音频和 3D 模型，按各家厂商原价即用即付，无订阅且不加价。作者 Rohan Paul 转发该发布并指出，AI 视频最实用的指标是每秒生成价格，Seedance 2.5 在 Sunra 上的价格是另外两家网关的一半，便于跨 Google、OpenAI、字节和 Kling 模型做 A/B 测试。

    引用Sunra@sunra_ai

    Today we're launching the Sunra API. Every leading image, video, audio and 3D model through one key, each at its maker's own API price. Pay as you go, with no subscription and no markup. The models are ready. Your app is next.

10月28日周三
  1. OpenBMB50

    OpenBMB 开源 MiniCPM-OCR 系列模型，把文档解析与 OCR 结果可靠性评估配套提供。MiniCPM-OCR 1.0 是 1.3B 参数的中英文文档解析模型，支持扫描页、拍照文档、倾斜和弯曲页面，可处理表格、公式、PDF 和关键信息抽取，并支持查看 Markdown 源码与预览解析结果；MiniCPM-OCR Jev 是独立模型，用于评估 OCR 结果可靠性，帮助识别需要人工复核的输出。模型权重开放在 GitHub 和 Hugging Face，支持多种部署方式。

    引用draven@dravenip

    DOCUMENT PARSING IS GETTING REALLY INTERESTING MiniCPM-OCR is an open-source model family from @OpenBMB and ModelBest built to turn documents into structured, usable information. → MiniCPM-OCR 1.0 is a compact 1.3B-parameter model for English and Chinese documents → handles scanned pages, photographed documents, tilted inputs and even curved pages → supports tables, formulas, PDFs and key information extraction → lets you inspect the Markdown source and preview the parsed output the family also includes MiniCPM-OCR Jev, a separate model that assesses the reliability of OCR results and helps identify outputs that may need human review. pretty cool to see document parsing and output assessment tackled together, with open-source weights and multiple deployment options. GitHub: http://github.com/OpenBMB/MiniCPM-OCR Hugging Face: MiniCPM-OCR 1.0：http://huggingface.co/openbmb/MiniCPM-OCR-1.0 MiniCPM-OCR Jev：http://huggingface.co/openbmb/MiniCPM-OCR-Jev

  3. 公众号：面壁智能66

    面壁智能发布并开源 MiniCPM-OCR 系列：1.3B 解析模型与 2B 判别模型

    面壁智能发布并开源 MiniCPM-OCR 系列。MiniCPM-OCR 1.0（1.3B）在 Real5-OmniDocBench 取得 93.68 分、OCRBench v2 取得 54.7 分的 SOTA，经 DSpark 加速后吞吐达 1.217 页/秒，端到端效率提升 55%。

    推荐理由：原文给出双 SOTA 得分、吞吐实测与免检比例数据，并首次引入独立的解析结果判别模型，可用于评估文档解析落地方案。

  4. 公众号：小红书技术45

    小红书蜜薯 X Rokid 智能眼镜：Personal Agent 的实时多模态、Proactive 与 Memory 架构

    小红书 2049 Lab 与 Rokid 合作，以智能眼镜为载体打造 AI 生活搭子“小红书蜜薯”，并介绍了其整体架构。系统由端侧体验、实时会话与 Agent 协作构成交互主链路，Memory 与能力服务独立支撑任务推进。其中多模态全双工支持插话与跨链路取消，Proactive 持续观察并判断回应时机，Memory 分层组织证据并异步读写，目标是走向持续服务个人的 Personal OS。

  6. OpenBMB54

    面壁智能 OpenBMB 转评 @wikiwayne 对 MiniCPM-OCR 的评测，感谢其透明对比并分享了结果与注意事项，表示期待该模型在 GX10 上的本地测试表现，称这类真实反馈会推动模型持续改进。引用内容提到 MiniCPM-OCR 1.0 为开源 13 亿参数 OCR 模型，与评估结果可靠性的 MiniCPM-OCR Jev 配套，权重已开放于 GitHub 和 Hugging Face。

    引用Guillermo Casaus@_guillecasaus

    Acaban de lanzar un modelo OCR open-source de solo 1.300 millones de parámetros. Se llama MiniCPM-OCR 1.0 y viene acompañado de MiniCPM-OCR Jev, otro modelo que evalúa la fiabilidad de los resultados. Ambos desarrollados por OpenBMB y ModelBest. Entre ambos permiten: → Extraer texto, tablas y fórmulas de documentos → Procesar PDFs y páginas escaneadas o fotografiadas → Trabajar con documentos inclinados o curvados → Incluir una puntuación de confianza en los resultados para facilitar su revisión manual → Ejecutarse con vLLM, SGLang y Ollama MiniCPM-OCR 1.0 ha conseguido 93,68 puntos en Real5-OmniDocBench, según sus benchmarks oficiales. Pero lo más interesante es Jev. En lugar de corregir los errores automáticamente, evalúa la fiabilidad de los resultados extraídos e incluye una puntuación de confianza para facilitar su revisión. Además, MiniCPM-OCR 1.0 incorpora KIE (Key Information Extraction), una funcionalidad para extraer información clave de los documentos. Y sí, los pesos de ambos modelos son abiertos. 🔗 GitHub: https://github.com/OpenBMB/MiniCPM-OCR 🤗 Hugging Face: https://huggingface.co/openbmb/MiniCPM-OCR-1.0 Más recursos y demo en el primer comentario 👇

  8. 公众号：数字生命卡兹克65

    Google 发布世界模型 Genie 4，支持实时操控与原生音频

    Google 发布下一代世界模型 Genie 4，相比 Genie 3 在照片级真实感、物体碰撞等物理模拟上有明显进步。用户可用 WASD 和双摇杆实时控制角色或镜头，运行中可用自然语言修改天气和加入物体，模型还能同步生成环境音与人物实时对话。

    推荐理由：文章梳理了 Genie 4 相比 Genie 3 的画质、实时控制、原生音频等变化，并用视频路线与高斯泼溅路线的对比帮助读者理解世界模型走向。

  10. Demis Hassabis61

    Demis Hassabis 宣布 Genie 4 发布，称其结合实时物理、推理与音频，并暗示“模拟中的模拟”。引用的 @GoogleDeepMind 介绍称 Genie 4 是迄今最逼真、交互性最强的世界模型，可实时探索动态环境，观察场景响应、声音以及其中人物的移动、反应和说话。

    引用Google DeepMind@GoogleDeepMind

    This is Genie 4, our most realistic and interactive world model yet. 🌐 Explore dynamic environments in real time to see how the scene responds, sounds, and how the people in it move, react, and speak.

  17. Liquid AI 模型与工程博客68

    Liquid AI 发布 LFM3 多模态开源权重模型家族，2B 级覆盖文本、视觉、音频、omni 和决策模型

    Liquid AI 发布新一代 LFM3 模型家族，以 LFM3-1.7B-Base 为共享骨干，首批开放六个 2B 级模型（文本、视觉、音频、omni 及两个决策模型）的开放权重，可在 Hugging Face、Playground 和 Liquid AI API 获取。

    推荐理由：原文给出 LFM3 各模型的具体架构、基准和端侧性能数据，读者可以据此评估小参数量多模态模型在本地方案中的可行性。

  18. Philipp Schmid62

    Google DeepMind 的 Philipp Schmid 宣布 Genie 4 发布，这是一个实时多模态世界模型，可逐帧渲染可玩环境，响应键盘控制和文本提示。新版本带来原生音频、会动会说话的角色、更清晰的物理效果和实时提示词编辑。Google AI Ultra 用户可优先加入候补名单，更多示例见 DeepMind 官方博客 https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/。

  24. Sundar Pichai65

    Google 发布 Genie 4，称其为其最真实、最具交互性的世界模型。它支持实时引导动态环境、调整事件、镜头角度和动作，可生成与场景匹配的原生音频并让角色实时对话，模拟照片级真实场景和现实物理，并通过 Gemini 推理创建更连贯的多步事件。

    同一件事，精选收录的是《Google DeepMind 发布实时交互世界模型 Genie 4》