Improving Generalizability of Extracting Social Determinants of Health

本文是LLM系列文章，针对《Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning》的翻译。

摘要

使用大型语言模型（LLM）的自然语言处理（NLP）的进展极大地改进了从临床叙述中提取患者信息。然而，大多数基于微调策略的方法在跨领域应用中的迁移学习能力有限。这项研究提出了一种新的方法，该方法采用了基于软提示的学习架构，该架构引入了可训练的提示来引导LLM获得所需的输出。我们检查了两种类型的LLM架构，包括仅编码器的GatorTron和仅解码器的GatorTronGPT，并使用2022年n2c2挑战的跨机构数据集和佛罗里达大学健康学院的跨疾病数据集评估了它们在提取健康社会决定因素（SDoH）方面的性能。结果表明，具有提示调整的仅解码器LLM在跨域应用中获得了更好的性能。GatorTronGPT在两个数据集中都获得了最好的F1分数，在跨机构环境中分别比传统的微调GatorTron高8.9%和21.8%，在跨疾病环境中分别高5.5%和14.5%。

引言

方法

结果

讨论

结论

本研究通过P-调整证明了生成LLMs在跨机构和跨疾病临床NLP应用中的迁移学习能力。然而，使用具有超过数十亿个参数的更大LLM对于从P调整中获益是必要的。<