30、医学影像可解释人工智能：知识的重要性

医学影像可解释人工智能：知识的重要性

1. 引言

在当今的决策过程中，最终选择的产生方式多种多样，它可能完全源于人类认知，也可能完全由算法计算（人工认知）得出，或者是二者协同的结果。过去几十年，计算机辅助决策方法取得了重大进展，人工智能（AI）逐渐渗透到越来越多的行业和业务中。

在一些低风险业务，如社交媒体广告中，AI的应用带来的好处显而易见。即使个性化产品推荐并非完全可靠，只要偶尔能命中目标促成业务，对各方来说都是双赢。然而，在许多领域，尤其是医疗保健领域，信任是必不可少的。

机器学习（ML）常与人工智能混淆。ML算法旨在让机器从数据中学习并解决实际问题，实现部分依赖人类认知的预测任务自动化。在监督式机器学习中，通过样本数据和评估函数构建计算模型，“监督”意味着每个训练样本既包含输入数据，也包含解决方案（真实数据）。但这并不意味着ML只能复制已知解决方案，就像公司依据学术成绩或过往工作表现招聘新员工一样，这本质上是一种信任关系。

在心理学中，信任是指相信受托人会按预期行事。在计算机辅助问题解决中，我们期望的不仅是最终解决方案，还包括达成该方案的可接受的认知和计算过程，即合理的解释。计算机辅助决策方法能解决日益复杂的问题，这得益于ML算法所依赖的复杂数学模型。例如，最新的深度神经网络（DNN）架构为解决如自动驾驶等曾经难以处理的问题提供了可能，但这些架构依赖于由大量函数和参数构成的复杂计算。信任是一种启发式决策规则，能帮助人类应对复杂问题，减少理性推理的巨大努力。然而，AI要获得人类的信任并非易事，以下情况会使人类更难信任AI：
- 人类在社交媒体上有过与计算机生成的离谱推荐的负面经历；
- 人类难以理解AI处理复杂计算的超能力；
- 人类倾向于考虑反事实情况，对AI的失败案例和相关攻击手段有所了解；
- 人类存在认知偏差，倾向于忽视与自身先验信念或伦理不符的信息；
- 决策涉及可能危险、危及生命的任务，如驾驶或医疗诊断。

2. 可解释人工智能（XAI）的出现

随着AI的成功应用，公众对个人数据使用和基于AI的决策支持系统的担忧成为热门政治话题，并受到社会科学研究的广泛关注。许多政府已采取行动，例如美国白宫科技政策办公室报告指出AI系统应开放、透明和可理解，欧盟委员会的相关报告也强调人类需要理解AI系统的行为。甚至著名的AI专家也公开表达了对使用算法预测进行高风险决策的担忧。

在工业革命早期，工厂工人通过破坏机器来抵制新技术的引入。如今，AI透明度的概念看似是一种和平的手段，但背后有着更深层次的原因。DNN系统并非一开始就是拥有大量超参数的黑匣子，对于复杂问题，基于人类假设的预测模型表现不佳，而数据驱动的模型在有足够训练数据、计算能力和实用指导规则时表现出色。数学模型应是我们的工具，而非主宰。数据驱动的模型虽最初并非为解释而设计，但可通过更新来实现解释功能。

各方在讨论AI或ML的社会接受度时，都强调了可解释人工智能（XAI）的重要性。XAI由Van Lent等人提出，用于描述系统解释基于AI的预测的能力。到2020年，XAI已成为一个涵盖多种含义的术语，但它仍是一个模糊或多面的概念，不同作者从不同角度进行了评估。对于只关注基于假设的模型并将ML算法视为黑匣子的数据分析人员来说，理解XAI可能有困难；而过于关注DNN的研究人员可能仅从数学规则或算法透明度的角度描述可解释性，这对公众理解AI系统并无帮助。

3. 医学影像的案例

医学影像在讨论计算机辅助决策系统的结果与人类决策能力时是一个有趣的案例。现代医学影像属于先进技术，人们没有对显微镜、磁共振（MR）或超声图像分析的祖传训练。用于医疗支持的大多数图像并非自然图像，而是从有机组织的物理或化学性质生成的可视化表示，旨在提供可理解的信息。目前，用于诊断的视觉数据源数量呈指数级增长，这带来了巨大挑战，使得AI决策辅助工具的需求变得不可避免。

从大量医学数据集中提取或预测有用信息是一项艰巨任务，即使对于高级专家也是如此。在医疗决策中，医生或医学科学家可以从AI辅助的数据分析中受益，而无需完全接受数字时代的一切，也不会被指责使用不透明的系统。我们认为深度学习算法是工具，而非主宰。就像法国哲学家René Descartes认为理性思维是通过离散、逻辑步骤识别模式的计算过程一样，可解释的AI能帮助我们在复杂的医学图像数据集中识别模式，确认或发现新的因果关系，并在实验验证之前生成关于现实世界的新假设。

接下来，我们将聚焦深度学习在医学影像分析中的积极成果，展示医学和数据科学专家的合作如何在低不透明度的情况下取得优异表现，许多成果可归类为XAI。以下是相关内容的流程图：

graph LR
    A[医学影像分析] --> B[深度学习应用]
    B --> C[可解释性实现]
    C --> D[建立信任]
    D --> E[生成新假设]

4. 增强病理学家

“增强病理学家”这一术语由[HMK+17]的作者提出，用于定义诊断医学中人类和人工智能的完美平衡。深度学习算法相比人类有诸多优势，如能学习并记住大量示例，而人类虽不能明确记住大量示例，但能从少量示例中推断复杂模式，这是经验和专业知识的体现。因此，利用计算机辅助增强记忆的能力是极具吸引力的。

4.1 可解释的人类智能？

理解人类智能、大脑机制和决策过程一直是科学家和医生面临的迷人而具有挑战性的问题，也是构建ML系统的关键。直到最近，人工智能和神经科学研究之间的关系主要是神经科学为人工智能提供灵感，但深度学习的成功为神经科学带来了新范式。

[GvG15]的作者通过使用DNN来探测人类大脑活动进行了一项有趣的研究。在该研究中，志愿者观看自然图像，同时使用4T扫描仪记录其神经活动的功能磁共振成像（fMRI）扫描。所有扫描数据进行配准并根据视网膜映射数据分配到视觉区域。对于每张呈现的图像，估计每个体素的fMRI响应幅度，并与从图像特征表示计算出的预测进行拟合。尽管预测模型是线性的，但输入的特征表示是从受AlexNet启发的预训练卷积神经网络（CNN）架构中提取的多层非线性响应。通过仔细评估模型性能，作者得出了关于人类大脑自然编码和识别过程的许多结论：
- 不仅低层次的视觉特征（如斑点或边缘），中高层次的特征对于识别也很重要；
- 人类大脑中的图像解码主要由判别信息驱动，分类信息仅为视觉腹侧流的上游区域提供额外线索；
- 视觉腹侧流是分层组织的，下游区域处理越来越复杂的特征，且连续的内部表示之间存在一定程度的重叠；
- 单个体素（节点）的选择性分布在多个特征上，反之亦然。

这些结论此前虽有理论推测，但使用人工网络进行分析提供了定量证据，有助于DNN架构设计，揭示了一些已被证明有效的策略以及新的策略思路。神经科学或计算神经科学在XAI文献中很少被讨论，但此类研究可为揭开黑匣子提供更多灵感。

4.2 数据和模型可视化

与AI启发的神经科学研究相对较少不同，数据和模型可视化在XAI文献中对模型行为的可解释性具有重要价值。在医学影像中，数据可视化可使高维空间变得可访问，如多模态的解剖、功能和代谢MRI序列、MR光谱、计算机断层扫描（CT）或正电子发射断层扫描（PET）扫描等。在深度学习出现之前，计算机图像分析就已融入医学影像，帮助医学专家进行低层次的视觉任务，如自动对比度/亮度增强、去噪、分割或部分物体检测。算法工具通过揭示被采集伪影或掩蔽效应隐藏的视觉信息，提高了人类决策的效率。XAI研究通过将重点转移到决策规则而非仅仅是准确性上，为增强可视化开辟了新视角，可生成基于语义的新视觉信息并与传统图像源融合。

为了发现DNN模型隐含决策规则背后的语义，渲染图形表示已成为一种常见方法。例如，使用CNNVis软件工具可以展示输入样本与神经元在识别任务中的交互。[TG19]的作者引入了感知可解释性的概念，可视化技术可分为显著性和信号方法两个子类别：
- 显著性方法 ：关注给定输入对模型预测的影响，通过生成热图突出每个像素或超像素组件在决策边界中的重要性。许多显著性模型被设计用于解释DNN，如深度泰勒分解、层间相关性传播（LRP）的后继方法、引导反向传播、类激活映射（CAM）、Grad - CAM或概念激活向量（CAV）。在医学影像中，使用CAM的示例将在后续详细讨论。[TCD+19]引入了用于阿尔茨海默病病理分类的CNN模型，该模型不仅具有高分类准确率，还通过引导Grad - CAM的显著性方法研究其内部决策规则，结果与人类专业知识一致，表明数据驱动的预测能够在无先验知识的情况下学习先前建立的假设，这是建立信任的重要途径。
- 信号方法 ：最初由[KHA+19]提出，许多先前的网络剖析或研究技术都属于这一类别。这些方法不严格关注训练数据集中的输入样本，而是观察引起单个或集体神经元活动刺激的因素。可以通过生成2D或3D重建来显示卷积滤波器应用于整个层时的影响，或者解决从给定输出激活值进行图像重建的逆问题。激活最大化是另一种解决全网络图像重建逆问题的方法，通过迭代调整噪声以达到一组神经元的选定激活配置。然而，对专门用于医学影像的DNN模型进行类似研究的结果仍然有限，这可能是由于医学图像模式的结构复杂性，使得医学专家甚至ML专家都难以用明确的语义术语描述。另一种假设是，尽管医学图像模式具有独特性，但医学图像分析的专业知识仍部分依赖于从自然图像中学习到的先前视觉识别知识，这与[TSG+16]的研究结果相符，即预训练并微调的CNN模型在医学图像分析中优于从头开始训练的模型。

选择一种方法来解释模型预测可能受多种因素影响，同一类别或子类别中的不同方法有时可以相互补充，就像医学评估可能需要多个数据源一样。以下是一个关于可视化方法选择的表格：
| 方法类别 | 特点 | 示例 |
| ---- | ---- | ---- |
| 显著性方法 | 关注输入对预测的影响，生成热图 | 深度泰勒分解、CAM等 |
| 信号方法 | 观察神经元活动刺激因素，进行重建或最大化激活 | 2D/3D重建、激活最大化 |

综上所述，在医学影像领域，可解释人工智能具有重要意义，通过结合人类智能的研究和数据模型可视化等方法，有望提高医学决策的准确性和可信任度，为医学研究带来新的突破。

医学影像可解释人工智能：知识的重要性

5. 医学影像中深度学习的具体案例

为了更深入地理解深度学习在医学影像中的应用，下面将通过两个具体案例进行详细说明。

5.1 基于磁共振波谱数据的阿尔茨海默病研究

在这个案例中，使用DNN对磁共振波谱（MRS）数据进行训练，以研究阿尔茨海默病（AD）患者大脑代谢物的变化。MRS能够提供关于大脑化学物质的信息，对于理解AD的病理机制具有重要意义。

具体操作步骤如下：
1. 数据收集 ：收集AD患者和健康对照者的MRS数据，确保数据的准确性和完整性。
2. 数据预处理 ：对收集到的MRS数据进行预处理，包括去噪、归一化等操作，以提高数据的质量。
3. 模型训练 ：使用预处理后的数据对DNN进行训练，通过调整模型的参数，使其能够准确地识别AD患者和健康对照者的MRS数据特征。
4. 模型评估 ：使用测试数据集对训练好的模型进行评估，计算模型的准确率、召回率等指标，评估模型的性能。
5. 结果分析 ：分析模型的输出结果，研究AD患者大脑代谢物的变化规律，为AD的诊断和治疗提供依据。

通过这个案例可以看出，深度学习在医学影像中的应用能够帮助我们更深入地了解疾病的病理机制，为医学研究和临床实践提供有力的支持。

5.2 基于DNN的乳腺癌诊断技术

乳腺癌是女性最常见的恶性肿瘤之一，早期诊断对于提高患者的生存率至关重要。目前，基于DNN的乳腺癌诊断技术已经取得了显著的进展。

以下是基于DNN的乳腺癌诊断技术的一般流程：

graph LR
    A[乳腺影像数据收集] --> B[数据预处理]
    B --> C[特征提取]
    C --> D[DNN模型训练]
    D --> E[模型评估]
    E --> F[临床应用]

1. 乳腺影像数据收集 ：收集乳腺X线摄影、超声、磁共振成像（MRI）等多种影像数据，为模型训练提供丰富的信息。
2. 数据预处理 ：对收集到的影像数据进行预处理，包括图像增强、裁剪、归一化等操作，以提高数据的质量和一致性。
3. 特征提取 ：使用DNN从预处理后的影像数据中提取特征，这些特征能够反映乳腺组织的结构和病变信息。
4. DNN模型训练 ：使用提取的特征对DNN进行训练，通过调整模型的参数，使其能够准确地识别乳腺癌病变。
5. 模型评估 ：使用测试数据集对训练好的模型进行评估，计算模型的准确率、敏感度、特异度等指标，评估模型的性能。
6. 临床应用 ：将评估合格的模型应用于临床实践，辅助医生进行乳腺癌的诊断和治疗决策。

基于DNN的乳腺癌诊断技术具有较高的准确性和效率，能够帮助医生更早地发现乳腺癌病变，提高患者的生存率。

6. 总结与展望

在医学影像领域，可解释人工智能（XAI）正发挥着越来越重要的作用。通过对人类智能的研究和数据与模型可视化等方法，我们能够更好地理解深度学习模型的决策过程，提高模型的可解释性和可信度。

以下是医学影像中XAI的优势总结：
| 优势 | 说明 |
| ---- | ---- |
| 提高决策准确性 | 通过解释模型的决策过程，帮助医生做出更准确的诊断和治疗决策 |
| 建立信任 | 使医生和患者能够理解模型的工作原理，增强对模型的信任 |
| 生成新假设 | 为医学研究提供新的思路和方向，促进医学科学的发展 |

然而，目前医学影像中XAI的应用仍面临一些挑战。例如，DNN模型的复杂性使得其决策过程难以解释，医学影像数据的多样性和复杂性也增加了模型训练和解释的难度。未来，我们需要进一步研究和开发更加有效的XAI方法，提高模型的可解释性和性能。同时，加强医学和数据科学领域的合作，促进XAI在医学影像中的广泛应用，为提高医疗质量和患者健康水平做出更大的贡献。

总之，医学影像中的可解释人工智能是一个充满潜力的研究领域，随着技术的不断发展和完善，它将为医学领域带来更多的创新和突破。