16、疾病分类中的文本挖掘与深度学习

疾病分类中的文本挖掘与深度学习

1. TandemNet的注意力机制可视化

TandemNet通过独特的方式捕捉图像和文本信息以支持疾病分类预测，其注意力权重的可视化是理解这一过程的关键。

1.1 图像注意力图的计算

图像注意力图是通过将 (G = 14 × 14) 的权重 (α) 上采样到图像空间来计算的。这一过程可以用以下步骤概括：
1. 获取 (G = 14 × 14) 的权重 (α)。
2. 对权重 (α) 进行上采样操作，使其与图像空间相匹配。
3. 得到最终的图像注意力图。

1.2 视觉注意力的验证

为了验证视觉注意力的有效性，在不预先告知结果的情况下，请病理学家标记一些测试图像中他们认为重要的区域。结果显示，注意力图与病理学家的标注具有惊人的高一致性。即使在没有文本信息的情况下，注意力结果也有一定的准确性，只是不如有文本信息时精确。这表明TandemNet能够有效地利用语义信息来提高视觉注意力，并且在没有语义信息时也能在很大程度上保持这种注意力能力。

1.3 文本注意力的选择性

文本注意力结果显示出很强的选择性，只提取有用的语义特征。例如，在图中可以看到不同特征类型对不同疾病标签的影响。以下是部分特征类型对疾病标签影响的示例表格：
| 特征类型 | 疾病标签 | 影响程度 |
| ---- | ---- | ---- |
| 核多形性（特征类型1） | 低级别疾病 | 小 |
| 细胞拥挤（特征类型2） | 高级别疾病 | 大 |

通过仔细观察图像可以发现，高级别疾病的图像具有明显的高细