Saining Xie@sainingxie精选引用Tairan He@TairanHe99
我简直不敢相信 GPT-5 会犯这种错误，直到 @ziqiao_ma 向我指出来。 强烈推荐这篇关于多模态 LLM 以视觉为中心评估的论文（https://arxiv.org/abs/2406.16860），作者是 @sainingxie——现在想象一下把同样的严谨性应用到 VLA 上。
推荐理由：当前多模态模型靠语言捷径'作弊'，真实场景落地将暴露致命隐患
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
454 条精选近 30 天 31 条共收录 2,679 条
更新
精选归档 · 第 22 页
- Saining Xie@sainingxie精选
上海人工智能实验室 InternLM：原创项目精选AI 评分6767 上海AI实验室开源 Intern-S2-Preview-397B 与 Intern-S2-Preview-35B 科学多模态模型
上海人工智能实验室 InternLM 团队发布 Intern-S2-Preview-397B，定位面向科学智能与长程智能体的最强多模态基础模型，通过新的视觉语言预训练范式、20 多个领域的大规模多任务强化学习以及沙盒环境中的智能体强化学习提升通用推理与科学能力。
推荐理由：官方仓库同时给出 Intern-S2 两档新模型与 S1 系列的架构细节和基准对比，便于读者评估科学场景下的开源选型。
Modal 官方工程博客精选AI 评分6969 Modal 实测：用开源 ASR 模型将批量语音转写提速 100 倍、成本降 100 倍
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型，对约一周（7×24 小时）ESB 基准音频做批量转写，结果比所测专有 API 快 112 倍或便宜 200 倍，且错误率略低，实现了一分钟内以 1 美元转写一周音频。
推荐理由：原文给出可复现的批量转录优化方法与端到端实测数据，读者可以据此在自己的语音转写服务中权衡成本与吞吐。
Hugging Face 社区博客精选AI 评分7676 Hugging Face 发布全开源 3B 模型 SmolLM3，支持 128k 长上下文与双模式推理
Hugging Face 发布全开源 3B 模型 SmolLM3，基于 11T token 预训练，官方称在 3B 规模上超越 Llama-3.2-3B 和 Qwen2.5-3B，并与 Qwen3、Gemma3 等 4B 模型竞争。
推荐理由：官方完整公开 3B 模型的架构改动、三阶段数据配比和双模式训练配方，想复现或改进小模型的人可据此省去数月逆向工程。
Hugging Face 社区博客精选AI 评分8181 Gemma 3n 开源生态全面可用，发布 E2B 和 E4B 两种尺寸
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用，发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸，各有 base 与 instruct 变体。
推荐理由：原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口，读者可以直接照着跑起来。
Mistral AI：News精选AI 评分6565 Mistral AI 发布首个推理模型 Magistral，含开源版 Magistral Small
Mistral AI 发布其首个推理模型 Magistral，分为 24B 参数的开源版 Magistral Small（Apache 2.0 许可）和企业版 Magistral Medium。
推荐理由：Mistral 官方发布首个推理模型，给出两版本参数规模与 AIME2024 成绩、开源许可和部署渠道，读者可据此评估选型。
Answer.AI 官方研发博客精选AI 评分7878 Answer.AI 发布 ReadBench：揭示视觉语言模型在长文本图像阅读上的显著性能衰减
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
Hugging Face 社区博客精选AI 评分7171 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 团队发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型的极简工具仓库，可在免费版 Colab 上启动训练。
推荐理由：官方团队介绍 nanoVLM 的架构与训练流程，读者可以据此理解 VLM 的多模态对齐原理并低成本动手训练。
Google DeepMind：Blog精选 Gemma 3n 预览版发布：强大、高效、移动优先的 AI
Gemma 3n 预览版发布，专为移动设备优化的开源多模态模型。采用 2-in-1 架构，支持音频理解，适用于实时交互和音频中心应用开发。
推荐理由：Google 发布端侧多模态模型 Gemma 3n，支持音频理解，面向移动设备优化
Mistral AI：News精选AI 评分6767 Mistral AI 发布 Mistral Medium 3
Mistral AI 发布 Mistral Medium 3，定位以约 1/8 成本提供接近旗舰模型的性能，价格为每 M token 输入 $0.4、输出 $2，基准成绩达到或超过 Claude Sonnet 3.7 的 90%。
推荐理由：官方给出了与 Claude Sonnet 3.7、Llama 4 Maverick 的基准对比、定价和部署门槛，读者可据此评估其在企业场景的性价比。
MiniMax：Blog精选 MiniMax MCP Server
MiniMax 发布 MCP Server，集成文本转语音、语音克隆、文生图、文生视频等多模态能力。支持 Claude Desktop、Cursor、Windsurf 等主流 MCP 客户端，通过统一工作流实现文本到音视频的一站式生成，面向创作者和开发者免费开放。
推荐理由：MiniMax MCP Server 上线，支持语音克隆、文生图/视频并兼容 Claude Desktop 等主流客户端
OpenAI：官网动态精选AI 评分8080 OpenAI 补充 GPT-4o 系统卡，介绍 4o 图像生成能力
OpenAI 发布 GPT-4o 系统卡附录，介绍 4o image generation 图像生成能力。官方称其比此前的 DALL·E 3 系列模型能力显著更强，可生成照片级真实感输出，并支持以图像作为输入进行变换。
推荐理由：官方说明指出 4o 图像生成比 DALL·E 3 系列能力更强，读者可借此了解其照片级输出与图像输入变换的新方向。
Mistral AI：News精选AI 评分7373 Mistral 发布 Mistral Small 3.1，Apache 2.0 开源并支持 128k 上下文
Mistral AI 发布 Mistral Small 3.1，称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini，推理速度达 150 tokens 每秒，上下文窗口扩展至 128k tokens，并以 Apache 2.0 许可证开源。
推荐理由：官方公告给出具体基准对比、部署门槛和开放下载渠道，读者可据此评估它能否替代现有小型私有模型。
Hugging Face 社区博客精选AI 评分6969 Google 发布全新多模态、多语言、长上下文开源大模型 Gemma 3
Google 在 Hugging Face 博客上发布全新开源大模型 Gemma 3，主打多模态、多语言和长上下文能力。
Mistral AI：News精选AI 评分6363 Mistral 发布 OCR API，文档理解基准超过 Google Document AI 与 Azure OCR
Mistral 发布 Mistral OCR，一款可识别图像、文本、表格和公式的光学字符识别 API。内部基准中 Mistral OCR 2503 综合得分 94.89，高于 Gemini-2.0-Flash-001 的 88.69 和 Azure OCR 的 89.52；单节点处理速度可达每分钟 2000 页。
推荐理由：官方发布 OCR API，给出与竞品的基准对比和每分钟页数，读者可据此评估其在多模态 RAG 管线中的适配性。
Mistral AI：News精选AI 评分7474 Mistral AI 发布全新 le Chat，登陆 iOS 和 Android 并推出 Pro、Team 与 Enterprise 版本
Mistral AI 发布全新 le Chat AI 助手，上线 iOS 和 Android，并推出 Pro（$14.99/月）、Team 及 Enterprise 私测版本。
推荐理由：Mistral 官方完整列出新 le Chat 的功能、定价和部署选项，读者可以据此与同类助手做横向比较。
DeepSeek@deepseek_ai精选推荐理由：DeepSeek 开源 VL2 视觉模型，3B 轻量版可端侧部署，MoE 架构支持动态图像分块
Mistral AI：News精选AI 评分7171 Mistral 发布开源权重多模态模型 Pixtral Large
Mistral AI 发布基于 Mistral Large 2 的 124B 开源权重多模态模型 Pixtral Large，在 MathVista 达到 69.4%，在 ChartQA、DocVQA 上超过 GPT-4o 和 Gemini-1.5 Pro。
推荐理由：官方发布了多模态模型的基准成绩与开放下载渠道，也说明了许可证类型，适合想对比前沿多模态能力或自部署的读者参考。
Mistral AI：News精选AI 评分7272 Mistral AI 为 le Chat 推出网页搜索、Canvas、文档理解、图像生成与 Agent 功能
Mistral AI 宣布对其免费生成式 AI 助手 le Chat 进行大版本更新，新增带引用的网页搜索、Canvas 协作编辑界面、图像生成和可发布的 Agent 工作流，全部以免费 beta 提供。
推荐理由：官方一次性列出 le Chat 六项新能力和免费 beta 政策，可对照竞品表格判断它在工作流上提供了哪些替代选择。
xAI：News精选 Grok API 公测版发布
xAI 启动 Grok API 公测，发布新模型 grok-beta，支持 128k 上下文、函数调用及系统提示，视觉版本下周上线。开发者每月可获 $25 免费额度至年底，已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式，修改 base_url 即可迁移。
推荐理由：xAI开放Grok API公测，每月送$25额度且兼容OpenAI接口，开发者可立即体验