跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

454 条精选近 30 天 31 条共收录 2,679 条

更新

精选归档 · 第 21 页

2025年12月2日周二第 401–420 条
  1. Mistral AI:News82

    Mistral 发布 Mistral 3 系列:Mistral Large 3 与 Ministral 3 全线开源

    Mistral 发布 Mistral 3 模型系列,包含 41B 激活、675B 总参数的稀疏 MoE 模型 Mistral Large 3,以及 3B、8B、14B 三种规模的 Ministral 3 小模型,全部以 Apache 2.0 许可开源。

    推荐理由:原文来自 Mistral 官方发布,给出了模型规格、开源许可、性能定位和部署路径,读者可据此评估不同规模的选用方案。

2025年11月20日周四
  1. Google DeepMind:Blog80

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式推出。

    推荐理由:原文给出模型的核心能力细节、可用分辨率与接入方式,开发者可据此判断是否适合替换现有图像生成工作流。

  2. Google DeepMind:Blog

    Google DeepMind 发布 Nano Banana Pro 图像生成模型

    Google DeepMind 发布 Nano Banana Pro 图像生成模型,基于 Gemini 3 Pro 构建,支持多语言可读文本直接渲染,可结合 Google Search 实时信息生成信息图表。该模型支持 14 张图像融合,保持 5 个人物形象一致性,输出 4K 分辨率。现已集成至 Gemini 应用、Google Ads、Google AI Studio 等产品,所有生成内容均嵌入 SynthID 水印以确保透明度。

    推荐理由:Google 发布 Nano Banana Pro 图像生成模型,支持多语言文本渲染与 4K 输出

2025年11月19日周三
  1. Google DeepMind:Blog89

    Google DeepMind 发布 Gemini 3,Gemini 3 Pro 开放预览

    Google DeepMind 发布 Gemini 3 并以 Gemini 3 Pro 预览形式上线,称其在所有主要 AI 基准上显著超越 2.5 Pro,LMArena 达 1501 Elo,HLE 37.5%、GPQA Diamond 91.9%。

    推荐理由:官方发布给出各基准分数与开放范围,读者可以据此比较 Gemini 3 Pro 与 2.5 Pro 的实际能力变化和可用入口。

2025年11月17日周一
2025年10月27日周一
  1. LlamaIndex:产品、工程与评测70

    LlamaIndex 解读 DeepSeek-OCR:视觉压缩如何在文档 AI 中超越传统 OCR

    LlamaIndex 发文解读 DeepSeek-OCR,指出其核心不是 OCR,而是把视觉作为文本信息的压缩算法:可将 1,000 个文本 token 压缩到 100 个视觉 token 并以 97% 准确率解码,10× 压缩下准确率仍高于 90%。

    推荐理由:原文从文档解析实践角度拆解 DeepSeek-OCR 的压缩机制与局限,并给出压缩与解析两条演化路径的比较。

2025年10月26日周日
  1. Google DeepMind:Blog

    MedGemma:健康 AI 开发领域最强的开源多模态模型

    谷歌 MedGemma 系列新增多模态模型,专为健康 AI 开发设计。作为该系列迄今最强的开源版本,新模型具备更强大的医疗场景理解能力,为开发者提供先进的医疗人工智能技术支持,助力构建更精准的健康医疗解决方案。

    推荐理由:DeepMind发布最强开放医疗多模态模型,支持开发者微调构建健康AI应用

2025年10月24日周五
  1. 美团 LongCat:HuggingFace 新模型

    美团开源全模态模型LongCat-Flash-Omni

    美团开源全模态模型LongCat-Flash-Omni,采用5600亿参数MoE架构(激活270亿),支持128K上下文与实时音视频交互。模型基于快捷连接MoE与零计算专家,配备轻量级编解码器及分块特征交错机制,通过课程式渐进训练提升效率。在OmniBench、WorldSense等基准测试中超越Qwen3-Omni与Gemini-2.5-Pro,在文档理解、语音识别及GUI控制等任务中达到领先水平。

    推荐理由:美团开源 560B 参数多模态模型,27B 激活即可实现实时音视频交互

  2. Google DeepMind:Blog

    Gemini 2.5 Computer Use 模型发布

    Gemini 2.5 Computer Use 模型基于 Gemini 2.5 Pro 构建,专门用于驱动能与用户界面交互的 agent,现已通过 API 以预览版形式提供。

    推荐理由:Google 发布 Gemini 2.5 Computer Use 模型,支持 Agent 自主操作图形界面

2025年10月21日周二
  1. Hugging Face 社区博客70

    Hugging Face AI Sheets 新增视觉支持,可在表格中分析、生成和编辑图像

    Hugging Face 发布 AI Sheets 重大更新,为开源无代码工具 AI Sheets 加入视觉能力,可直接上传图片或使用含图数据集,用视觉模型提取、分析和结构化图片信息。

    推荐理由:官方公告给出了图像提取、生成和编辑的具体用法与模型对比示例,读者可以判断能否把图片处理搬进表格工作流。

  2. Together AI 研究与产品博客66

    Together AI 上线 40 多个图像与视频生成模型,新增视频生成 API

    Together AI 宣布扩展模型库,通过 Runware 合作集成 20 多个视频模型(含 OpenAI Sora 2、Google Veo 3、Minimax Hailuo、Kling v2.1)和 15 个以上图像模型(含 Google Imagen 4.0 Ultra、Nano Banana、Qwen Image),共 40 多个。

    推荐理由:Together AI 官方给出了 40 多个图像与视频模型的名称、时长和逐模型定价,开发者可据此评估能否用一个平台替代多家供应商。

2025年10月15日周三
  1. Anthropic:Transformer Circuits83

    Circuits 更新 — 2025年10月

    Anthropic可解释性团队分享了多项研究进展。研究发现,从Haiku 3.5到Sonnet 4.5等模型中存在跨模态视觉特征,能够识别ASCII艺术和SVG代码中编码的语义概念,如眼睛、嘴巴、狗、猫等。这些特征依赖于视觉描绘的上下文环境,例如,SVG圆形元素只有在位于激活“面部”特征的更大结构中时才会激活“眼睛”特征。在生成过程中对部分特征进行引导,可以对应修改文本艺术的语义,例如将ASCII表情从皱眉转为微笑,或为SVG面部添加皱纹。研究还发现模型存在类似“人脸幻想”的倾向,会将形状解释为动物绘图的组成部分。这些特征对人类手绘的SVG同样有效。

    推荐理由:为AI可解释性研究提供新实验方法,启发跨模态模型设计。

2025年10月1日周三
2025年9月23日周二
  1. Hugging Face 社区博客62

    Hugging Face 发布 Smol2Operator:将 SmolVLM2-2.2B 训练为 GUI Agent 的完整配方

    Hugging Face 发布 Smol2Operator,通过两阶段 SFT 将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成 GUI Agent,ScreenSpot-v2 准确率从约 0% 先提升到 41%,再提升到 61%。

    推荐理由:原文给出从数据统一到两阶段微调的完整训练配方和结果数字,且全部开源,可复现到自己的 GUI Agent 项目中。

2025年9月9日周二
  1. Hugging Face 社区博客64

    Hugging Face 发布多语言编码器模型 mmBERT,覆盖 1833 种语言

    Hugging Face 与 JHU 团队发布多语言编码器模型 mmBERT,基于 ModernBERT 架构,在 3T+ tokens、1833 种语言的数据上训练,官方称其首次在多语言任务上超越 XLM-R。

    推荐理由:原文给出了 1833 种语言的训练策略和基准数据,读者可以据此评估它对多语言编码器选型的影响。

2025年9月4日周四
  1. Hugging Face 社区博客72

    Google 发布 EmbeddingGemma 高效多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧的多语言嵌入模型,参数量 308M,支持 2K 上下文窗口和 100 多种语言,量化后 RAM 占用低于 200 MB。

    推荐理由:原文给出模型架构、MRL 截断维度和多框架用法,读者可以据此评估它在移动端 RAG 和检索场景的可行性。

2025年8月15日周五
  1. 蚂蚁 inclusionAI:GitHub 新仓库58

    inclusionAI/UI-Venus

    UI-Venus 是一款本地 UI 智能体,仅以屏幕截图作为输入,即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口,直接通过视觉信息理解界面结构,实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互,提升了跨平台任务执行的通用性与可靠性。

    推荐理由:蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索,代码开源可直接用,做 GUI 自动化的值得看看底层怎么实现元素定位和导航。