Improving Generalizability of Extracting Social Determinants of Health-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139487041

本文探讨了如何通过软提示学习架构改进大型语言模型（LLM）在跨领域提取健康社会决定因素（SDoH）信息的能力。研究比较了仅编码器和仅解码器的LLM架构，并在多个数据集上进行了测试，结果显示，提示调整的仅解码器LLM在跨域应用中表现出色，特别是在GatorTronGPT中，其性能优于传统微调方法。

本文是LLM系列文章，针对《Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning》的翻译。

摘要

使用大型语言模型（LLM）的自然语言处理（NLP）的进展极大地改进了从临床叙述中提取患者信息。然而，大多数基于微调策略的方法在跨领域应用中的迁移学习能力有限。这项研究提出了一种新的方法，该方法采用了基于软提示的学习架构，该架构引入了可训练的提示来引导LLM获得所需的输出。我们检查了两种类型的LLM架构，包括仅编码器的GatorTron和仅解码器的GatorTronGPT，并使用2022年n2c2挑战的跨机构数据集和佛罗里达大学健康学院的跨疾病数据集评估了它们在提取健康社会决定因素（SDoH）方面的性能。结果表明，具有提示调整的仅解码器LLM在跨域应用中获得了更好的性能。GatorTronGPT在两个数据集中都获得了最好的F1分数，在跨机构环境中分别比传统的微调GatorTron高8.9%和21.8%，在跨疾病环境中分别高5.5%和14.5%。