跳到正文
Microsoft AI:官方博客·· 7 天前精选AI 评分80

Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统,登 Science

Building Medical Superintelligence

AI 导读

Microsoft AI 发布 Sequential Diagnosis Benchmark(SDBench)和 AI 诊断系统 MAI-DxO,论文发表于 Science。

推荐理由

原文给出 SDBench 基准与 MAI-DxO 的具体准确率和成本数据,并开放部分评测代码,读者可据此评估其诊断推理方法。

正文 · AI 翻译

健康

MAI 健康团队

2026年10月22日

健康

MAI 健康团队

A white heart icon composed of rounded square dots, centered against a blurred, colorful floral background.

如果 AI 能帮助临床医生一步步完成复杂的医学诊断,同时做到准确率更高、成本更低、检查更少,会怎样?

这样的未来正在显现。针对美国急诊科的常见就诊病例,用 MIMIC-IV-ED 中的病例评估时,我们的 AI 诊断系统 MAI-DxO 的准确率是医生的 1.7 倍。

而在医学中最复杂的病例上——这些病例发表于《新英格兰医学杂志》——MAI-DxO 的准确率是借助教科书和互联网的医生的两倍多;如果医生在没有这些资源的情况下诊断,MAI-DxO 的准确率接近其四倍。它还能以一半甚至三分之一的成本做到这一点,用更少的检查和操作得出正确诊断。

我们的研究成果今天发表在《科学》。

本周还发表于《BMJ 数字健康与 AI》。,可进一步了解我们对医疗超级智能的愿景。

重新思考 AI 的构建与测试方式

AI 有潜力变革健康与医疗,相关进展正在迅速加快。当前的挑战在于构建并严格评估 AI 系统,把临床推理能力的进步转化为实实在在的影响。

今天的论文建立在先前工作的基础上,为这一转变引入了两项基础:顺序诊断基准(SDBench),用于测试逐步诊断推理;以及微软 AI 诊断编排器(MAI-DxO),这是我们在该基准上表现领先的 AI 系统。

美国医师执照考试(USMLE)等医学执照考试旨在评估医生的知识,而非临床诊断的真实过程。在这类考试中,所有信息都会预先给出,考生只需选择一个答案;而在实践中,临床医生必须一步步拼出全貌,决定要问什么、安排哪些检查,以及每项新发现如何改变可能的诊断。这类考试已成为评估健康 AI 表现的常用基准。

正因如此,我们开发了 SDBench,它在两组互补的病例上评估表现:一组是取自《新英格兰医学杂志》(NEJM)病例讨论的 304 个复杂病例,另一组是来自 MIMIC-IV-ED 的较典型急诊科就诊病例。每个病例都变成交互式案例,AI 模型和/或医生从有限信息出发,选择下一步要获取什么。该基准衡量诊断准确率、所请求的证据和预估检查成本——既评估答案,也评估所走的路径。

我们构建了 MAI-DxO,并在 SDBench 中对其进行了测试。它不依赖单一模型直接给出答案,而是像一组虚拟医生一样运作:每位医生分别提出诊断、选择有用的问题或检查,并对逐渐形成的观点提出质疑。MAI-DxO 在数轮辩论中协调这一交流,随着证据出现不断更新评估,并权衡每项检查的可能价值与成本。

我们的发现:

  • 在复杂的 NEJM 病例上,MAI-DxO 的诊断准确率达到 83%。医生在没有外部参考资料时准确率为 22%,有参考资料时为 36%,因此 MAI-DxO 的准确率分别约为医生的 3.7 倍和 2.3 倍。
  • 在来自 MIMIC-IV-ED 的更典型的急诊病例上,MAI-DxO 的准确率达到 80%,而医生为 47%——高出 1.7 倍以上。
  • 当更侧重成本优化时,MAI-DxO 的表现依然强劲,同时会选择更具成本效益的检查方案。在 NEJM 病例上,一种配置以不到对比系统一半的成本达到了 81% 的准确率。
  • 在两个数据集上,没有任何其他人类或 AI 方法能比 MAI-DxO 既更准确又更便宜。
  • 当我们用包括 GPT-5.5 在内的更新模型重复评估时,这些提升依然存在——而且有所改善——且未改变编排方法,这表明该方法并不绑定于某一代模型。

我们正在开源 SDBench 的部分 NEJM 病例——包括基准、Gatekeeper、Judge 和成本估算代码——以便研究人员复现评估、测试其他模型,并对这些发现提出质疑或加以扩展。

从更好的诊断到更好的照护

诊断只是照护旅程的一部分。更好的照护还需要跟上医学知识的发展、选择正确的治疗、理解随时间发生的变化,并支持反映个人价值观和照护可及性的选择。机会在于将这些能力整合为一种目前尚未广泛可用的照护标准。在发表于 BMJ Digital Health and AI 的 The Building Blocks of Medical Superintelligence 一文中,我们探讨了 AI 需要具备什么才能支持这一更宏大的愿景——并最终超越当今最强临床团队和卫生系统的能力。

序贯诊断提供了一个早期范例:AI 医生协作、质疑假设,并随着证据出现不断完善临床推理。我们的目标是构建能在整个照护旅程中连接知识、情境和决策的 AI——而不仅仅是在某一项临床任务上表现出色。通过与 Mayo Clinic 的合作,我们旨在结合前沿 AI、临床专业知识和纵向多模态数据,构建能够应对真实世界照护复杂性和多样性的系统。

在真实世界中测试

基准测试固然重要,但真正的考验是在真实临床环境中的表现。通过与波士顿的Beth Israel Deaconess Medical Center建立新的合作关系,我们将在不同医院场景中评估临床推理能力。在一项前瞻性研究中,患者将直接与系统互动,并以医生的独立评估作为性能衡量标准。与临床团队并肩工作,将揭示这项技术在哪些方面行之有效、哪些方面仍有不足,以及它如何融入繁忙的工作流程。

微软健康(Health at Microsoft)

医疗 AI 的快速进步正在为患者和临床医生带来新的可能。为了把这一进展转化为实际影响,我们正将微软各处的健康团队汇聚到一起——包括 Microsoft Research 的科学家,以及 Dragon Copilot 和 PowerScribe 等产品背后的团队——在 Microsoft AI 下整合为一项统一行动。通过协同努力,我们将加快交付值得信赖的 AI 系统,推动更好的临床结果和诊疗体验。

与我们共创未来

我们是一支精干、行动迅速的实验室团队,成员由世界上最杰出的一些人才组成。我们在 MAI 拥有一份令人振奋的算力路线图,算力正在快速且大规模地扩充。我们还有一个我们真心相信的远大使命。我们也很幸运能与出色的产品团队合作,让我们的模型有机会触达数十亿用户,创造巨大的积极影响。如果你才华出众、雄心勃勃且不摆架子,你会非常适合这里——快来加入我们,一起打造我们的下一代模型!

查看所有职位

来源:Microsoft AI:官方博客 · microsoft.ai