跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

454 条精选近 30 天 31 条共收录 2,678 条

更新

精选归档 · 第 2 页

10月13日周二第 21–40 条
  1. 公众号:面壁智能68

    面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行

    面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。

    推荐理由:原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节,读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。

  2. Demis Hassabis65

    Google 与 BIDMC 合作的 AMIE 患者对话式诊断前瞻性研究在 TheLancet 发表,是 AMIE 首次在真实诊所外测试。临床医生报告称 AMIE 的病史摘要在 75% 的病例中有助于访视准备,其鉴别诊断与医生最终诊断的吻合率达 90%,这也是 Google 首篇登上 The Lancet 主刊的论文。

    引用Sundar Pichai@sundarpichai

    今天,@TheLancet 发表了我们的 AMIE 研究,与 @BIDMC_Medicine 合作完成,这是首个在真实诊所中面向患者的对话式诊断的前瞻性研究。 AMIE 是一个研究系统,人们可以在就诊前与之聊天。在实验室之外,用真实的急诊护理患者测试 AMIE,展示了技术如何帮助安全地收集病史。临床医生报告称,在 75% 的病例中,这些摘要帮助他们为就诊做准备,并在超过一半的病例中影响了他们的诊疗方式。AMIE 的鉴别诊断也在 90% 的情况下与医生的最终诊断一致,让临床医生有更多时间专注于患者护理。 这是 Google 有史以来第一篇发表在 The Lancet 主刊上的论文!

    推荐理由:这是 Google 首篇登上 The Lancet 主刊的 AMIE 研究,作者引用了关键数字,可帮助读者了解对话式诊断在真实门诊的表现。

  3. Artificial Analysis 完整文章76

    Meta 发布 Muse Wonder 和 Muse Wonder Full,Artificial Analysis 实测智能水平较前代显著提升

    Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型,在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分(max reasoning effort)。

    推荐理由:Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本,读者可据此对比它们在同类模型中的位置。

10月8日周四
  1. Aravind Srinivas65

    Perplexity 开源 pplx-embed-v2-late,两个针对文本和图像的 late-interaction 多向量嵌入模型,大小为 9B 和 0.6B,共享同一嵌入空间,权重已在 Hugging Face 提供。9B 可用于索引多模态数据,0.6B 可在设备端查询,无需 OCR 即可检索 PDF 页面;模型在 MADQA 得分 92.4%,BrowseComp+ 得分 64%。

    引用Perplexity@perplexity_ai

    我们发布 pplx-embed-v2-late,两个后期交互嵌入模型,通过共享嵌入空间检索文本、图像和页面,实现跨模态查询。 两个模型均达到前沿性能,并已在 Hugging Face 上公开可用。 https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector

    推荐理由:原文给出两个规模的嵌入模型、共享空间用法和基准分数,读者可据此评估多模态检索与端侧查询的可行方案。

10月7日周三
  1. Artificial Analysis 完整文章66

    Mistral 发布 Mistral Large 4,Artificial Analysis 评测称其为美中之外最智能模型

    Mistral 发布 Mistral Large 4(Research Public Preview),在 Artificial Analysis Intelligence Index 得分 38,与 GPT-6 Luna(max, 38)相当,为美中之外最智能模型,计划 10 月底开源 1T 参数(49B 激活)权重。

    推荐理由:原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据,读者可据此评估 Mistral Large 4 的真实水平与成本。

  2. Google Developers Blog68

    Google DeepMind 发布多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2,将文本、图像、视频帧和音频映射到统一向量空间,参数量 740M。

    推荐理由:原文给出内存占用、延迟和多种开发入口的具体数据,读者可以据此评估在本地多模态检索场景的落地方式。

10月6日周二
9月30日周三
  1. Cohere 产品与研究博客69

    Cohere 发布 Embed 5 嵌入模型家族,含 Pro 和 Fast 两档

    Cohere 发布 Embed 5 嵌入模型家族,含 Pro 和 Fast 两档,支持文本与图像输入、100+ 语言、128K 上下文,已通过 Cohere API、Microsoft Foundry、Amazon SageMaker 等渠道开放。

    推荐理由:官方给出两个档位的定价、基准成绩和共享嵌入空间设计,读者可以据此权衡检索质量与查询成本的部署方案。

9月29日周二
  1. Microsoft Research 博客61

    Microsoft Research 发布 AI 生物研究系统 Quine,并开放 Quine Fellows 项目申请

    Microsoft Research 推出 Quine,一个包含生物学世界模型和交互式 harness 的 AI 研究系统,可跨基因组、蛋白质、化学、细胞状态和生物成像等模态联合学习并推理干预后果。

    推荐理由:原文给出 PDAC 化合物筛选一个周末完成并经湿实验验证的结果,读者可据此评估 AI 驱动生物发现的实际路径。

  2. World Labs:官网85

    World Labs 宣布加入 AMD,李飞飞将出任 AMD 执行副总裁兼首席科学家

    World Labs 宣布与 AMD 签署最终协议加入 AMD,交易预计于 2026 年底前完成,需监管审批。李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO Lisa Su 汇报;Justin Johnson 与 Ben Mildenhall 将继续带领 World Labs 团队组建前沿研究组织。

    推荐理由:原文说明了双方从GPU合作到收购的演进,以及核心人员的具体去向,读者可判断这次整合对空间智能方向的改变。

9月28日周一
  1. IT之家·人工智能78

    Meta 推出 Hologram 拟真虚拟形象,秋季上线雷朋眼镜与 Quest 头显

    Meta 宣布将于今年秋季在雷朋 Display 智能眼镜、Quest 头显及新轻薄头显上推出“Hologram”功能。该功能利用生成式 AI(实时扩散模型)创建高度拟真的用户虚拟形象,替代传统摄像头画面用于 WhatsApp 视频通话。用户需通过手机 Meta AI 应用采集面部表情和语音数据完成建模。雷朋版基于音频驱动生成 2D 视频流,Quest 版支持 3D 等身立体呈现。目前存在细节粗糙、侧倾变形等技术局限。

    推荐理由:Meta 将生成式 AI 深度整合进主流 XR 硬件的通信场景,标志着虚拟形象从卡通向高保真实时生成的跨越,对 AR/VR 社交体验有重要影响。

9月25日周五
  1. Meta:Newsroom · AI66

    Meta 在 Connect 2026 发布 Muse 上眼镜、VR Glasses 及多款 AI 眼镜新品

    Meta 在 Connect 2026 宣布将个人 AI 智能体 Muse 带入 AI 眼镜,并新增 Walmart、Sephora、GitHub、Instacart 等更多 connectors,Muse 还将拥有自己的邮箱地址。

    推荐理由:原文汇总了 Muse 上眼镜、VR Glasses、新款 AI 眼镜及听力辅助等多项发布细节,可了解 Meta 硬件与个人智能体的落地节奏。

9月24日周四
9月23日周三
  1. Meta:Newsroom · AI76

    Meta 在 Connect 发布 Ray-Ban Meta Audio 音频眼镜并扩充 Ray-Ban Meta (Gen 3) 等 AI 眼镜产品线

    Meta 在 Connect 上发布首款音频眼镜 Ray-Ban Meta Audio,重 43 克,预售价 349 美元起,10 月 13 日发货,单次充电可用 12 小时。

    推荐理由:官方在 Connect 上同时扩充多价位与多款式 AI 眼镜产品线,给出了各款定价、续航和新市场名单,方便对照选购与产品节奏。