跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

454 条精选近 30 天 31 条共收录 2,683 条

更新

精选归档 · 第 8 页

7月17日周五第 141–160 条
  1. Moonshot AI:Kimi Blog81

    Kimi K3 发布:2.8T 参数开源模型,具备原生视觉与百万 token 上下文窗口

    月之暗面发布 Kimi K3,一个 2.8T 参数的开源模型,采用 Kimi Delta Attention 和 Attention Residuals 架构,支持原生视觉能力与 100 万 token 上下文窗口。

    推荐理由:首个开源 3T 级模型,架构上有 KDA 和 AttnRes 创新,在超长程编码和知识工作上比肩闭源。权重两周后放出,所有做 agent 的都该盯紧。

7月16日周四
  1. 公众号:昆仑万维66

    天工短剧工作台推出“Agent智能分镜+无限画布”双轨创作模式,告别AI短剧“随机抽卡”

    天工短剧工作台(SkyProduction)推出“Agent智能分镜+无限画布”双轨创作模式,将导演思维拆解为六个可干预环节,通过站位图锁定和多视细节图生成解决角色漂移、变脸问题。该工作台支持720°全景图、3D导演台、多账号分级管理及数据中心,并原生支持英文短剧全流程处理。其三部精品短剧上线DramaWave仅7天,均实现百万美元级营收。

    推荐理由:天工短剧工作台把导演思维拆解成可干预的站位、光影和调度环节,降低了从单镜头到连续叙事的落差,适合需要稳定产出精品短剧的团队。

  2. Thinking Machines70

    今天,我们推出 Inkling。 Inkling 能高效地对文本、图像和音频模态进行推理。我们将提供完整权重。 https://thinkingmachines.ai/news/introducing-inkling/ 即日起可在 Tinker 上进行微调。在 Inkling Playground 中试用。🧵

    推荐理由:多模态推理终于有了开放权重的选项,Inkling不是最强的,但可能是最方便你上手微调的。想试试多模态Agent的,今天就能在Playground玩。

7月15日周三
  1. IT之家·人工智能82

    国行 Apple 智能完成备案,阿里千问将集成至苹果 AI 能力

    苹果技术开发(上海)有限公司的“Apple 智能”大模型已于 2026 年 7 月 8 日完成备案,适用场景为苹果手机。阿里千问将作为 AI 能力集成至 Apple 智能,为 iOS、iPadOS、macOS 和 visionOS 的中国用户提供文本与图像理解、内容生成等功能,用户无需在应用间切换即可直接体验。

    推荐理由:苹果AI备案落地,国行iPhone用户终于等到,但集成的不是自研而是阿里千问,对苹果AI生态和国内AI格局都算一个交代。

  2. 公众号:通义实验室73

    阿里发布 Qwen-Audio-3.0-Realtime,在 Artificial Analysis 语音推理子项中综合排名第一

    阿里通义实验室发布实时语音交互模型 Qwen-Audio-3.0-Realtime,在 Artificial Analysis 的 Speech Reasoning 子项中综合排名第一,超越 OpenAI GPT-Realtime-2。

    推荐理由:我觉得Qwen-Audio-3.0-Realtime把情感表达和背景降噪结合得很好,加上工具调用,语音交互终于从聊天走向任务执行,有API可以直接上手,推荐语音产品经理试试。

  3. Together AI 研究与产品博客76

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 提供 Day 0 推理服务

    Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 于发布当日在其 Serverless 平台提供访问,支持 1M 上下文窗口和 OpenAI 兼容 API。

    推荐理由:原文来自提供推理服务的合作方,给出了 Inkling 的架构细节、参数规格和初步评测,读者可据此了解新模型的技术取向与可用入口。

  4. vLLM 官方博客74

    vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化

    vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。

    推荐理由:原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比,读者可以评估该模型在自己的推理工作流中的可用性。

  5. Google Developers Blog58

    Google 在 I/O Connect India 展示由 Tensor SoC 和 TPU 驱动的 Pixel 10 端侧 AI 未来

    在 Google I/O Connect India 上,Google 展示了由定制 Tensor SoC 和 TPU 驱动的 Pixel 10 系列所支持的 100% 私有端侧 AI 未来。活动首次推出轻量级 Gemma 4 E2B 模型,该模型原生运行于设备端,可实现完全离线的多模态功能,包括 AI 聊天、实时图像识别和个人智能体任务。开发者即日起可通过新发布的 Tensor SDK beta 及其配套开源资源,开始构建这些安全的边缘应用。

    推荐理由:我觉得这是端侧 AI 从实验到落地的信号,Gemma 4 E2B 的离线能力搭配新 SDK,让完全本地的多模态应用不再是期货,做移动隐私 AI 的开发者该上手试试了。

7月14日周二
  1. IT之家·人工智能72

    高德发布通用世界模型工坊 ABot-WorldStudio,已开放测试

    阿里巴巴旗下高德发布通用世界模型工坊 ABot-WorldStudio,并开放测试。该产品将交互式视频生成与 3DGS 场景生成统一,用户输入文字或图片即可生成可实时交互、可分享的 AI 世界。工坊内置“时空任意门”,穿越后可跃迁至另一完整 3D 世界。官方实测单次连续推理稳定运行超1小时,无崩溃、无质量衰减。底层模型 ABot-World0 与 ABot-3DWorld0 均可在单张 5090 上本地部署,已全面开源。

    推荐理由:把世界模型从一分钟短片推进到小时级稳定探索,还支持本地一张消费级显卡跑,这对做具身智能和边界探索的团队是个值得上手的信号。

  2. SenseTime74

    商汤发布并完全开源 SenseNova-Vision-7B-MoT,一个统一处理检测、OCR、GUI、深度与法线估计、分割、多视图等主要视觉任务的模型。该模型支持通过自然语言定义新的视觉任务变体,跨传统任务边界重组视觉能力。开源内容包括模型权重及 SenseNova-Vision Corpus(含 5000 万示例子集及复现剩余公开数据的完整工具包)。

    推荐理由:商汤把检测、OCR、深度估计等多个视觉任务塞进一个7B模型,还贴心地开源了数据集和复现工具,做视觉理解或GUI agents的团队可以直接拿它当基座,不是又一个刷榜的轻量版。

7月13日周一
  1. 公众号:腾讯混元76

    腾讯混元发布 HyOCR-1.5:端到端 OCR 大模型全栈开源,推理提速 6.37 倍

    腾讯混元发布 HyOCR-1.5,这是端到端 OCR 大模型领域首个将训练、推理、模型权重完整开源的专家模型。仅 1B 参数,覆盖 8 种以上 text-centric 任务。引入 DFlash 投机解码框架,在 Transformers 下实现 6.37× 加速,vLLM 下 2.14× 加速,端到端推理达每页 1.408s。支持 4K 分辨率与 128K 上下文窗口,通过 Agentic Data Flow 扩展低资源 OCR(331 种语言)、古文字识别与多图问答能力。在 OmniDocBench v1.6 上以 94.74 分居端到端第一。

    推荐理由:我觉得这是近期最实在的OCR开源,1B参数覆盖多任务、推理加速6倍,还支持llama.cpp本地部署,做文档解析的同学可以直接上车。

  2. 公众号:腾讯混元78

    腾讯混元开源 HyOCR-1.5:1B 端到端 OCR 大模型推理提速 6.37 倍

    腾讯混元开源端到端 OCR 大模型 HyOCR-1.5,仅 1B 参数覆盖 8 种以上 text-centric 任务,在 OmniDocBench v1.6 上以 94.74 分居端到端第一。

    推荐理由:轻量端到端OCR的实用化一步,投机解码让长文档生成加速可落地,智能体数据闭环提示了用短板驱动自进化的可复用路径。

7月11日周六
  1. MarkTechPost74

    蚂蚁集团 Robbyant 发布 LingBot-VA 2.0,首个原生具身基础模型

    蚂蚁集团旗下具身智能团队 Robbyant 发布 LingBot-VA 2.0,首个原生具身基础模型。该模型采用因果 DiT 架构,视频专家约 13.0B 参数(约 1.9B 激活),训练规模约 15.3B 参数,推理时每 token 约 2.5B 激活。模型引入多块预测(MCP)实现 2.3 倍训练加速,并通过前瞻推理将推理延迟降至 142 ms/chunk。在 RoboTwin 2.0 的 50 个任务上,干净与随机演示数据平均成功率分别达 93.8% 和 93.4%。

    推荐理由:具身智能领域第一个从零预训练的因果视频-动作模型,将世界状态和动作统一在一个隐空间,异步推理优化到 225Hz,做机器人的值得仔细研究。

  2. Mira Murati65

    Mira Murati 创立的 Thinking Machines Lab 宣布获得 20 亿美元融资,由 a16z 领投,NVIDIA、Accel 等参投。公司专注于多模态 AI、定制模型和开放科学,将在未来几个月推出首款产品,包含重要的开源组件,面向研究人员和初创公司。

    引用Mira Murati@miramurati

    Thinking Machines Lab 的存在是为了通过推进协作式通用智能来赋能人类。 我们正在构建多模态 AI,它能配合你与世界自然互动的方式——通过对话,通过视觉,通过我们协作时那种杂乱无章的方式。我们很兴奋,在未来几个月内我们将能够分享我们的首个产品,它将包含一个重要的开源组件,并对开发自定义模型的研究人员和初创公司有用。很快,我们还将分享我们最好的科学成果,以帮助研究界更好地理解前沿 AI 系统。 为了加速我们的进展,我们很高兴地确认,我们已筹集了 20 亿美元,由 a16z 领投,NVIDIA、Accel、ServiceNow、CISCO、AMD、Jane Street 等与我们使命相同的机构参与。 我们一直在寻找那些通过实践学习、将研究转化为有用之物的非凡人才。我们相信 AI 应当作为个人能动性的延伸,并且本着自由的精神,尽可能广泛而公平地分发。我们希望这一愿景能引起那些与我们同样致力于推动该领域发展的人的共鸣。如果是这样,加入我们。https://thinkingmachines.paperform.co/

    推荐理由:Mira 的公司以 2B 融资和开源路线站上了今年 AI 创业的前排,虽然产品还没出来,但这笔钱和阵容本身就说明市场对多模态协作路线的信心。

7月10日周五
  1. Google Research:Blog70

    Google Research 推出 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。

    推荐理由:SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。

  2. Microsoft Research 博客65

    微软发布开源地球系统基础模型 Aurora 1.5,新增 22 个天气变量与集合预报

    微软发布 Aurora 1.5,对开源 Aurora 地球系统基础模型进行重大扩展,新增 22 个天气变量(原 4 个)、支持小时级时间分辨率和概率集合预报,已在 GitHub 开源并放出的 Hugging Face 模型检查点。

    推荐理由:原文来自模型发布方,给出新增变量数、小时级分辨率和与 ECMWF 集合的对比数字,读者可据此评估其在能源等场景的适用性。

7月9日周四
  1. IT之家·人工智能73

    蚂蚁灵波开源实时交互世界模型 LingBot-World 2.0

    蚂蚁灵波开源新一代实时交互世界模型 LingBot-World 2.0(14B 参数),支持施法、攻击、跳跃等丰富角色动作及文本驱动事件(如切换场景、召唤风暴),内置 Pilot Agent 与 Director Agent 实现世界持续演化,并支持多人同时交互。模型采用因果预训练范式和混合双向自回归注意力掩码(MoBA),可稳定输出 720p/60fps 实时画面,长达一小时测试画质不衰减。通过一致性蒸馏与 DMD 降低采样成本,结合注意力 kernel 优化、混合并行推理、动态 KV 缓存调度和异步流媒体传输实现低延迟交互。模型权重及推理代码以非商用协议开源,SGLang 已适配,并提供 Reactor PC 端和灵光 APP 在线体验。

    推荐理由:蚂蚁灵波这个开源世界模型把实时世界生成推到了小时级还不崩,720p/60fps实时交互,做开放世界游戏或自动驾驶仿真的团队值得上手测。

  2. Meta AI:Research Blog74

    Meta 发布 Muse Spark 1.1 多模态推理模型并开放 Meta Model API 公测

    Meta Superintelligence Labs 发布 Muse Spark 1.1,定位面向智能体任务的多模态推理模型,在工具与计算机使用、编码、多模态理解上较 Muse Spark 有明显提升,支持 1M token 上下文窗口。

    推荐理由:官方博客给出模型在智能体、编码、多模态上的能力细节和百万 token 上下文,并开放 Meta Model API 公测,可对照现有工作流评估。