Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

先验与后验

在阅读这篇Paper之前，我们首先需要明确什么是先验和后验。先验是指根据以往经验和分析，而后验是指基于新的数据，对原来的先验修正。
通俗而言，
先验知识：这些柿子红了，肯定已经熟了
后验知识：我刚刚吃了柿子，已经熟透了

目前的放射学报告生成的局限性

目前的大多数的放射学报告都采用encoder-decoder结构，比如CNN-HRNN等，CNN从整个图像中提取图像特征，然后由HRNN生成报告。
这样的是直接将image-caption方法引入到了放射学报告生成这一领域，未免太粗暴了一些，会产生以下两个问题：

• Visual data deviation:数据集中正常图像是多数，而异常是少数，其次，正常图像的外观大大优于异常图像，会分散模型的注意力，使其无法准确捕捉罕见且多样的异常区域特征
• Textual data deviation: 一份放射学报告，医生倾向于在衣服图像中描述所有的项目，使得对正常区域的描述占了主导，这样就会导致文本分布的极不平衡，使用这样的数据集进行训练就会导致模型无法定位关键异常，例如HRNN就只能生成一些重复的正常句，并不能描述异常。在放射学报告中，产生异常的正确性应比其他正常情况更受重视，而在自然图像段落中，每句话都具有同等的重要性。

这里解释HRNN的原理，HRNN——分层循环神经网络，可以用来生成长且语义连贯的段落来描述输入图像，HRNN用两级RNN，一个段落RNN，一个句子RNN，段落RNN生成主题向量，句子RNN对每一个主题向量生成句子描述图像

Paper的贡献

• 为了缓解数据偏差问题，本文提出了后验和先验知识探索和提取方法，包括后验和先验知识探索器(PoKE和PrKE)和多领域知识提取器(MKD)。
• PoKE使用疾病的词袋探索后验知识，捕捉罕见、多样和重要的异常区域;PrKE从以前的工作经验和以前的医学知识中探索以前的知识;MK