【论文解读】Med-BERT: 用于疾病预测的大规模结构化电子健康记录的预训练情境化嵌入

【论文解读】Med-BERT: 用于疾病预测的大规模结构化电子健康记录的预训练情境化嵌入

Med-BERT：pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction

​
​
摘要：基于电子健康记录（EHR）的深度学习（DL）预测模型在许多临床任务中都表现出色。然而，这些模型通常需要大型训练队列来实现高精度，这阻碍了在训练数据有限的情况下采用基于DL的模型。最近，bidirectional encoder representations from transformers（BERT）和相关模型在自然语言处理领域取得了巨大的成功。在非常大的训练语料库上对BERT进行预训练会生成情境化嵌入，从而提高在较小数据集上训练的模型的性能。受BERT的启发，我们提出了Med BERT，它将最初为文本域开发的BERT框架改编为结构化的EHR域。Med BERT是一个在28490650名患者的结构化EHR数据集