PsyBrain 脑心前沿 / AI 与脑科学：顶刊文献解读专题 / A · 文献解读 / A016 · 深圳先研院最新NatBiomedEng给医学AI“黑盒”

A016 深圳先研院最新 Nat Biomed Eng | 给医学 AI “黑盒”画一张决策地图，让模型诊断逻辑更正确

来源：公众号 PSY-Brain_Frontier ｜发布：2026-05-21 ｜原文链接

认知神经科学前沿文献分享

基本信息

Title: Bridging the interpretability gap for medical artificial intelligence models using class-association manifold learning

发表时间: 2026-05-18

发表期刊: Nature Biomedical Engineering

影响因子: 26.6

获取原文:

添加小助手: PSY-Brain-Frontier 即可获取PDF版本
点击页面底部“阅读原文”跳转论文网页

研究背景

医学AI模型越来越多地进入临床，但医生很难信任它们：这些模型怎么做出判断，外面的人看不到。现有的解释方法两头都不讨好：全局解释太粗糙，局部解释（比如热力图）又只看单个样本，说不清模型整体在想什么

医生看不懂模型的逻辑，AI就不敢真正用在病人身上。这里缺的东西很明确：一种既能从全部数据里提炼出简单、准确的规则，又能把这些规则套到具体病例上、给出人能读懂的解释的方法

实验设计与方法逻辑

研究提出了类关联流形学习（CAML）框架，它不改变原有黑盒模型，而是作为一个外挂的解释器。做法分三步：

第一步，用类关联嵌入（CAE）把每个样本拆成两部分：跟类别有关的特征子空间，和个体背景子空间。压缩到只有8维的低维流形里，分类精度几乎没掉

第二步，用拓扑数据分析（TDA）对流形建模，画出拓扑图，图上能看到同一类别里的不同亚群，以及类别之间怎么过渡，相当于一张全局解释地图

第三步，沿着拓扑路径做反事实生成：对任意样本做最小幅度的、语义上说得通的修改，生成一组对比样本和精准的局部显著图。研究在6个基准医学影像数据集、2个概念标注数据集、1个多类别数据集，还有心电图、基因表达这些非影像数据上都做了验证，最后请了8位眼科临床医生做盲法评估，看临床可靠性怎么样

核心发现

发现一：CAE把黑盒模型的决策知识压进了低维流形

只用8维特征，分类精度就跟原始模型差不多，比其他可解释模型强出一截。在OCT、胸部X光片等6个数据集上，用CAE的8维特征训出来的XGBoost分类器，测试准确率远超TreeExplainer、SFA这类全局解释方法，也优于逻辑回归、决策树等白盒模型，跟原始黑盒模型比，精度损失很小

Fig. 2a 和 Fig. 2b 给出了具体数字：OCT数据集上，CAML的8维特征分类准确率90.9%，原始ResNet50模型是92.1%。t-SNE投影里，正常样本和病理样本在CAE流形上分得很开，训练集和测试集的分布也高度一致，这解释了为什么分类效果这么好

发现二：CAML的拓扑图能揭示AI模型学到的全局决策规则和潜在医学知识

这个方法在没人监督的情况下，发现了跟临床认知一致的疾病亚型结构和演化关系。OCT数据集上，拓扑图显示正常类先连到玻璃膜疣（DRUSEN），再到脉络膜新生血管（CNV），而糖尿病性黄斑水肿（DME）走的是另一条演化路径，这跟临床上的认识吻合

Fig. 3b 和 Fig. 3c 把这些规则画了出来：OCT拓扑图里，不同亚型沿不同路径分布；在包含29个类别的RFMID数据集上，拓扑图准确反映了视网膜静脉阻塞（BRVO和CRVO）靠得很近、糖尿病视网膜病变（DR）和视网膜炎（RS）也挨着，这些复杂的医学关系都被捕捉到了

发现三：CAML生成的实例级显著图比现有九种主流xAI方法更准、轮廓更干净

因为注入了全局知识，背景噪声被避开了。在OCT、脑肿瘤等数据集上，CAML圈出的感兴趣区域（ROI）比LIME、Grad-CAM等方法更精细

定量评估里，CAML在所有数据集上的最高扰动衰减（PD）和扰动曲线下面积（AOPC）都优于其他方法

Fig. 5a 和 Fig. 5b 对比了不同方法的显著图：CAML的ROI轮廓更清晰，定量指标也全面领先。脑肿瘤数据集上，它跟人工标注的交并比（IOU）和Dice系数都是最高的，说明定位结果跟临床判断高度一致

省流总结

CAML框架把个体背景和类别关联特征拆开，在低维流形里统一了医学AI模型的全局解释和局部解释。它能生成精准的病灶定位图，也能画出拓扑地图，把模型的决策逻辑直观展示出来，甚至在无监督的情况下挖出了跟临床知识一致的疾病亚型和演化关系。方法在多种医学数据上验过，临床医生也给了很高的认可。它给弥合"可解释性鸿沟"提供了一个有用的工具，但在真实临床工作流里能不能推广，还得继续验证

分享人：天天

审核：PsyBrain 脑心前沿编辑部

💡 关于我们

👋 你好，这里是「PsyBrain 脑心前沿」

🧠 专注追踪全球认知神经科学的最尖端突破

🔍 视野直击 Nature, Science, Cell 正刊及核心子刊与顶级大刊

📄 每日速递「深度解读」与「前沿快讯」

科研是一场探索未知的长跑，但你无需独行。欢迎加入 PsyBrain 学术社群，和一群懂你的同行，共同丈量脑与心智的无垠前沿。

👇点击卡片进群，欢迎你的到来👇