Exploring Multilingual Large Language Models for Enhanced TNM classification of Radiology Report

本文是LLM系列文章，针对《Exploring Multilingual Large Language Models for Enhanced TNM classification of Radiology Report in lung cancer staging》的翻译。

摘要

背景：由于劳动密集型结构和叙述式报告，结构化放射学报告仍然不发达。深度学习，尤其是像 GPT-3.5 这样的大型语言模型 （LLM），有望以自然语言自动构建放射学报告。然而，尽管有报道 LLM 在英语以外的语言中效果较差，但其放射学性能尚未得到广泛研究。
目的：本研究旨在调查使用 GPT3.5-turbo （GPT3.5） 的放射学报告对 TNM 分类的准确性以及多语言 LLM 在日语和英语中的效用。
材料和方法： 利用 GPT3.5，我们开发了一个系统，可以从肺癌的胸部 CT 报告中自动生成 TNM 分类并评估其性能。我们使用广义线性混合模型统计分析了在两种语言中提供完整的或部分 TNM 定义的影响。
结果：使用英文的完整 TNM 定义和放射学报告（M = 94%，N = 80%，T = 47% 和 ALL = 36%）获得了最高的准确性。为 T、N 和 M 因子提供定义在统计学上提高了它们各自的准确性 （T：比值比 （OR） = 2.35，p < 0.001;N： OR = 1.94，p < 0.01;M：OR = 2.50，p < 0.001）。日本报告显示 N 和 M 准确度降低（N 准确度：OR = 0.74 和 M 准确度：OR = 0.21）。
结论：本研究强调了多语言 LLM 在放射学报告中自动 TNM 分类的潜力。即使没有额外的模型训练，提供的 TNM 定义的性能改进也是显而易见的，这表明 LLM 在放射学环境中的相关性。