Sarvam AI 发布开源权重翻译模型 Sarvam-Translate，支持 22 种印度语言
Sarvam AI 与 AI4Bharat 合作发布开源权重翻译模型 Sarvam-Translate，基于 Gemma3-4B-IT 微调，支持 22 种印度语言的段落级翻译，其中 15 种语言支持结构化文档翻译。
#多模态
Sarvam AIAI 评分5252
Answer.AI 官方研发博客精选AI 评分7878 Answer.AI 发布 ReadBench：揭示视觉语言模型在长文本图像阅读上的显著性能衰减
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
Google DeepMind：Blog精选 Gemma 3n 预览版发布：强大、高效、移动优先的 AI
Gemma 3n 预览版发布，专为移动设备优化的开源多模态模型。采用 2-in-1 架构，支持音频理解，适用于实时交互和音频中心应用开发。
推荐理由：Google 发布端侧多模态模型 Gemma 3n，支持音频理解，面向移动设备优化
Runway：News Runway 推出 Gen-4 Image API
Runway 开放 Gen-4 Image API，集成 References 功能，定价 $0.08/张。支持虚拟试衣、游戏资产生成、室内设计等场景，开发者可通过 bounding boxes 精确控制构图，将多模态生成能力接入自有应用。
Mistral AI：News精选AI 评分6767 Mistral AI 发布 Mistral Medium 3
Mistral AI 发布 Mistral Medium 3，定位以约 1/8 成本提供接近旗舰模型的性能，价格为每 M token 输入 $0.4、输出 $2，基准成绩达到或超过 Claude Sonnet 3.7 的 90%。
推荐理由：官方给出了与 Claude Sonnet 3.7、Llama 4 Maverick 的基准对比、定价和部署门槛，读者可据此评估其在企业场景的性价比。
OpenRouter：AnnouncementsAI 评分5050 OpenRouter 为所有模型新增 PDF 处理支持
OpenRouter 平台现已支持对所有模型进行 PDF 文件处理。此前仅部分模型支持该功能，此次更新实现了全覆盖，用户使用任意模型时均可直接上传并处理 PDF 文档。
OpenRouter：AnnouncementsAI 评分5252 Universal PDF Support
OpenRouter现已为平台上的所有模型提供PDF文件处理支持。这项通用功能意味着用户在使用任何模型时，都能直接上传和分析PDF文档。此举消除了以往特定模型才能处理PDF的限制，显著扩展了工具的应用场景，便于用户进行文档总结、信息提取或内容问答等一系列任务。
MiniMax：Blog精选 MiniMax MCP Server
MiniMax 发布 MCP Server，集成文本转语音、语音克隆、文生图、文生视频等多模态能力。支持 Claude Desktop、Cursor、Windsurf 等主流 MCP 客户端，通过统一工作流实现文本到音视频的一站式生成，面向创作者和开发者免费开放。
推荐理由：MiniMax MCP Server 上线，支持语音克隆、文生图/视频并兼容 Claude Desktop 等主流客户端
Runway：News Runway与Fabula达成制作合作
Runway与制片公司Fabula达成合作，将其AI电影工具接入后者全球制作管线。Fabula曾出品《A FANTASTIC WOMAN》等获奖影片，此次合作覆盖从概念构思到VFX的全流程。Sundance获奖导演Cutter Hodierne已在新片《THE SHEPHERD》中使用该工具制作高保真预可视化，实现在剧本阶段即可探索视觉风格，突破传统拍摄后才确立视觉语言的模式。Fabula称这帮助团队快速产出高质量提案物料，Runway则借此进一步支持全球电影人创作。
BAIR：Berkeley AI Research Blog 利用 Latent Diffusion 改造蛋白质折叠模型用于生成
PLAID 是一种多模态生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质的1D序列与3D全原子结构。该方法仅需序列数据训练（可利用比结构数据库大2-4个数量级的数据），支持基于功能与生物体的组合式提示控制。相比传统仅预测骨架的模型，PLAID 解决了离散序列与连续结构坐标的多模态协同生成难题，为可控蛋白质设计提供了新范式。
Runway：News 迈向基于世界模拟器的新媒体生态系统
Runway 完成 3 亿美元 D 轮融资，General Atlantic 领投，NVIDIA、软银等参投。资金将扩展 Runway Studios AI 影视工作室，并推进 Gen-4 模型研发。Gen-4 支持跨场景一致角色与场景生成，旨在构建基于世界模拟器的新媒体生态。
OpenAI：官网动态精选AI 评分8080 OpenAI 补充 GPT-4o 系统卡，介绍 4o 图像生成能力
OpenAI 发布 GPT-4o 系统卡附录，介绍 4o image generation 图像生成能力。官方称其比此前的 DALL·E 3 系列模型能力显著更强，可生成照片级真实感输出，并支持以图像作为输入进行变换。
推荐理由：官方说明指出 4o 图像生成比 DALL·E 3 系列能力更强，读者可借此了解其照片级输出与图像输入变换的新方向。
Mistral AI：News精选AI 评分7373 Mistral 发布 Mistral Small 3.1，Apache 2.0 开源并支持 128k 上下文
Mistral AI 发布 Mistral Small 3.1，称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini，推理速度达 150 tokens 每秒，上下文窗口扩展至 128k tokens，并以 Apache 2.0 许可证开源。
推荐理由：官方公告给出具体基准对比、部署门槛和开放下载渠道，读者可据此评估它能否替代现有小型私有模型。
Mistral AI：News精选AI 评分6363 Mistral 发布 OCR API，文档理解基准超过 Google Document AI 与 Azure OCR
Mistral 发布 Mistral OCR，一款可识别图像、文本、表格和公式的光学字符识别 API。内部基准中 Mistral OCR 2503 综合得分 94.89，高于 Gemini-2.0-Flash-001 的 88.69 和 Azure OCR 的 89.52；单节点处理速度可达每分钟 2000 页。
推荐理由：官方发布 OCR API，给出与竞品的基准对比和每分钟页数，读者可据此评估其在多模态 RAG 管线中的适配性。
Mistral AI：News精选AI 评分7474 Mistral AI 发布全新 le Chat，登陆 iOS 和 Android 并推出 Pro、Team 与 Enterprise 版本
Mistral AI 发布全新 le Chat AI 助手，上线 iOS 和 Android，并推出 Pro（$14.99/月）、Team 及 Enterprise 私测版本。
推荐理由：Mistral 官方完整列出新 le Chat 的功能、定价和部署选项，读者可以据此与同类助手做横向比较。
OpenRouter：AnnouncementsAI 评分4848 OpenRouter 为 OpenAI 4o 和 Fireworks 模型提供结构化输出，并免费开放 Gemini Flash 2.0
OpenRouter 新增对 OpenAI 4o 和 Fireworks 模型的结构化输出支持，同时免费提供 Gemini Flash 2.0 模型。
Sakana AI：BlogAI 评分4747 Sakana AI 提出进化式通用 Transformer 记忆系统 NAMMs
Sakana AI 发布论文《An Evolved Universal Transformer Memory》，提出神经注意力记忆模型（NAMMs），用进化算法训练神经网络分类器决定每个 token 的保留或遗忘，无需梯度即可优化。
Mistral AI：News精选AI 评分7171 Mistral 发布开源权重多模态模型 Pixtral Large
Mistral AI 发布基于 Mistral Large 2 的 124B 开源权重多模态模型 Pixtral Large，在 MathVista 达到 69.4%，在 ChartQA、DocVQA 上超过 GPT-4o 和 Gemini-1.5 Pro。
推荐理由：官方发布了多模态模型的基准成绩与开放下载渠道，也说明了许可证类型，适合想对比前沿多模态能力或自部署的读者参考。
Mistral AI：News精选AI 评分7272 Mistral AI 为 le Chat 推出网页搜索、Canvas、文档理解、图像生成与 Agent 功能
Mistral AI 宣布对其免费生成式 AI 助手 le Chat 进行大版本更新，新增带引用的网页搜索、Canvas 协作编辑界面、图像生成和可发布的 Agent 工作流，全部以免费 beta 提供。
推荐理由：官方一次性列出 le Chat 六项新能力和免费 beta 政策，可对照竞品表格判断它在工作流上提供了哪些替代选择。
xAI：News精选 Grok API 公测版发布
xAI 启动 Grok API 公测，发布新模型 grok-beta，支持 128k 上下文、函数调用及系统提示，视觉版本下周上线。开发者每月可获 $25 免费额度至年底，已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式，修改 base_url 即可迁移。
推荐理由：xAI开放Grok API公测，每月送$25额度且兼容OpenAI接口，开发者可立即体验
Suno：BlogAI 评分5353 Suno 发布 Scenes 功能，可用照片和视频生成歌曲
Suno 宣布推出新功能 Suno Scenes，用户可从相机拍摄的照片或视频生成独特歌曲，开启视觉叙事这一新的歌曲创作模式。功能首先面向 iOS 移动端用户开放，入口位于歌曲创建体验中的 Camera 模式，支持风景、自拍或日常视频等内容生成可分享的歌曲。
OpenAI：官网动态AI 评分4545 OpenAI 用基于 GPT-4o 的新多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 的新多模态审核模型，可更准确地检测有害文本与图像，帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
LlamaIndex：产品、工程与评测AI 评分5353 LlamaIndex 推出 LlamaParse Premium 模式，结合多模态模型与启发式文本解析
LlamaIndex 发布 LlamaParse Premium 模式，结合多模态模型和启发式文本解析技术处理复杂文档，官方称效果超过 Sonnet-3.5 等原生模型。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaParse 推出多模态 RAG 功能
LlamaIndex 宣布 LlamaParse 企业级 RAG 平台新增多模态功能，可在索引中同时存储和检索文本与图像块，几分钟内搭建完整的多模态 RAG 流水线。
Mistral AI：News精选AI 评分7373 Mistral 发布开源多模态模型 Pixtral 12B，采用 Apache 2.0 许可
Mistral 发布开源多模态模型 Pixtral 12B，以 Apache 2.0 许可提供，可作为 Mistral Nemo 12B 的直接替换。
推荐理由：官方发布开源多模态模型，给出了架构细节、MMMU 分数和统一评测对比，可作为同规模开源模型选型的参考。
LMSYS Blog Chatbot Arena 推出多模态排行榜
Chatbot Arena 新增图像对战功能并发布多模态排行榜。基于两周内17,429份跨60余种语言的投票，GPT-4o以1226分领跑，Claude 3.5 Sonnet以1209分紧随其后，两者视觉优势较纯语言模型更明显。Gemini 1.5 Pro与GPT-4 Turbo并列第三，开源模型Llava 1.6 34B位列第八。平台同步将"Elo评分"更名为"Arena Score"，并计划扩展至PDF、视频及音频等模态支持。
Suno：Blog精选AI 评分6363 Suno 发布 Audio Input 功能，支持上传音频生成歌曲
Suno 发布 Audio Input 功能，Pro 和 Premier 用户可上传或录制音频来生成歌曲。音频片段需在 6 到 60 秒之间，上传后可选择 Extend、设定起始时间戳、指定风格并添加歌词。官方表示将阻止受版权保护的作品上传，含人声的输入将保持私密且不可搜索。
推荐理由：原文给出使用步骤和上传限制，读者可以据此判断如何把自己的音频接入 Suno 创作流程。
Sam Altman：Blog精选 GPT-4o
OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放，无广告。全新语音（及视频）模式响应速度接近人类，表现力极强，被 Sam Altman 称为「用过最好的计算机界面」，像电影里的 AI。未来还将支持个性化、代操作等功能。
推荐理由：Sam Altman 解读 GPT-4o 发布，强调语音交互与免费策略
OpenAI：官网动态精选AI 评分8484 OpenAI 发布旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理
OpenAI 宣布新旗舰模型 GPT-4o（GPT-4 Omni），能够实时地对音频、视觉和文本进行推理。
推荐理由：官方宣布新旗舰模型，明确其实时跨音频、视觉和文本推理的定位，可作为了解该版本核心能力的入口。
xAI：News精选 Grok-1.5 Vision 预览版
xAI 发布 Grok-1.5 Vision 预览版，新增视觉理解能力，可处理图像、图表及文档内容，支持跨模态推理与视觉问答，现面向早期测试者开放试用。
推荐理由：xAI发布Grok-1.5 Vision预览版，具备多模态视觉理解能力
Runway：News Runway 与 Musixmatch 合作提升全球音乐体验
Runway 与 Musixmatch 达成合作，后者超100万艺术家社区将可使用 Gen-2 等模型制作动态歌词视频。结合 Musixmatch 歌词语义提取与 Runway 视频生成能力，让音乐视频创作更快、更独特且易于获取，帮助艺术家与全球听众建立更深连接。
Mistral AI：News精选AI 评分7474 Mistral 发布旗舰模型 Mistral Large，并通过 Azure 提供服务
Mistral 发布最新旗舰模型 Mistral Large，称其在常用基准上仅次于 GPT-4，是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言，具备 32K token 上下文窗口、function calling 和 JSON 输出模式，可在 la Plateforme 与 Azure 使用。
推荐理由：官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式，读者可据此评估两个新模型在性能与成本间的取舍。
LlamaIndex：产品、工程与评测AI 评分5757 LlamaIndex 与 LanceDB 实现视频多模态 RAG 教程
LlamaIndex 发布教程，演示如何用 LlamaIndex Python API 结合 OpenAI GPT4V 和 LanceDB 构建视频多模态 RAG 系统。
LlamaIndex：产品、工程与评测AI 评分5555 用 LlamaIndex 和 Neo4j 搭建多模态 RAG 流水线的实践教程
作者演示如何用 LlamaIndex 和 Neo4j 实现多模态 RAG 流水线，将文本与图像分别用 ada-002 和 CLIP 嵌入后存入两个向量库，检索结果交给 gpt-4-vision-preview 生成答案。测试数据为其 2022 与 2023 年的 Medium 文章，共解析出 252 个文本块和 328 张图片，代码已开源在 GitHub。
LlamaIndex：产品、工程与评测AI 评分4343 LlamaIndex 宣布支持 Gemini，并集成 Semantic Retriever API
LlamaIndex 在 Gemini 公开发布当天成为 day 1 启动合作伙伴，自 0.9.15 起全面支持 Gemini Pro 与 Gemini Ultra。集成覆盖纯文本与多模态两种变体，支持流式/非流式、同步/异步、补全/对话共 8 种组合，并新增对 Semantic Retriever API 的支持，可将存储、嵌入模型、检索与 LLM 打包为 RAG 流水线。
LangChain：Blog精选AI 评分6060 LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案
LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上，多模态嵌入方案 CoT 准确率为 60%，图像摘要加 multi-vector retriever 达 90%，均高于仅文本抽取 RAG 的 20%；作者指出图像检索是核心挑战，并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。
推荐理由：原文给出两种多模态 RAG 方案的对比评测与开源模板，读者可以直接复用其基准和部署路径。
LlamaIndex：产品、工程与评测AI 评分4949 用 ResNet、Cohere 和 LlamaIndex 构建多模态 RAG 应用 AInimal Go!
开发者用 ResNet18 做动物图像分类、Cohere LLM 生成对话、LlamaIndex 做编排层，构建了受 Pokémon Go 启发的多模态 RAG 应用 AInimal Go!
LlamaIndex：产品、工程与评测AI 评分4444 用 Zephyr 7b LLM 与 LlamaIndex 实现文档信息提取
Zephyr 7b LLM 结合 LlamaIndex 用于从图像文档中提取信息，以应对 OCR 在复杂版式、低质量图像、手写体和多语言场景下的局限。
LlamaIndex：产品、工程与评测AI 评分4747 GPT-4V 图表理解实验：通用提问、具体提问与 CoT 提示词对比
实验用 Llama2 与 Mistral 论文中的柱状图、散点图和表格测试 GPT-4V，对比通用提问、具体提问和 CoT 提示词三种方式。结果显示，具体提问比笼统的“分析这张图”能得到更好回答；但 GPT-4V 仍会幻觉出图中不存在的 x 轴类别，并在区分 Llama2 与 Vicuna 的柱状条时出错。
LlamaIndex：产品、工程与评测AI 评分5252 LlamaIndex 讲解如何评估多模态 RAG 系统
LlamaIndex 发布博客讲解如何评估多模态 RAG 系统，提出沿用文本 RAG 的检索与生成两阶段评测框架并做适配。