CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN

本文是LLM系列文章，针对《CANCERLLM: A LARGE LANGUAGE MODEL IN CANCER DOMAIN》的翻译。

摘要

ClinicalCamel 70B、Llama3OpenBioLLM 70B 等医学大语言模型 (LLM) 在各种医学 NLP 任务中表现出了令人印象深刻的性能。然而，目前仍然缺乏专门针对癌症领域设计的大型语言模型（LLM）。此外，这些LLM通常有数十亿个参数，这使得它们对于医疗保健系统来说计算成本高昂。因此，在这项研究中，我们提出了 CancerLLM，一个具有 70 亿个参数和 Mistral 风格架构的模型，对涵盖 17 种癌症类型的 2,676,642 份临床记录和 515,524 份病理报告进行了预训练，然后对两项癌症相关任务进行了微调，包括癌症表型提取和癌症诊断生成。我们的评估表明，与其他现有的LLM相比，CancerLLM 取得了最先进的成果，平均 F1 分数提高了 7.61%。此外，CancerLLM 在两个拟议的稳健性测试平台上优于其他模型。这说明CancerLLM可以有效地应用于临床人工智能系统，增强癌症领域的临床研究和医疗保健服务。

1 引言

2 CANCERLLM

3 结果

4 讨论

5 结论

在这项研究中，我们引入了CancerLLM，这是专为癌症领域设计的医学LLM。我们提供了三个用于癌症表型提取、癌症诊断生成的数据集。此外，我们提出了两个测试平台来评估 CancerLLM 的稳健性。将 CancerLLM 与 14 个广泛使用的 LLM 进行比较，我们的结果表