Extracting Patient History from Clinical Text: A Comparative Study of Clinical Large Language Models

### 主要内容

1. **研究背景与目的**：医疗记录的整理和分析耗费医护人员大量时间，自然语言处理（NLP）技术中的命名实体识别（NER）可将非结构化患者信息转换为结构化记录，助力医疗工作。临床大语言模型（cLLMs）在医疗领域应用广泛，但在识别患者详细病史实体（MHEs）方面研究有限。本研究旨在比较微调后的 cLLMs 识别与患者主诉（CC）、现病史（HPI）和既往、家族、社会史（PFSH）相关 MHEs 的性能，并通过错误分析探究影响模型准确性的文本特征。
2. **研究方法**
- **数据来源与标注**：使用 Medical Transcription Sample Reports and Examples（MTSamples）中的 61 份门诊相关临床笔记，标注了 1449 个 MHEs，涵盖多种笔记类型。标注工作由本科生初标，经多位作者审核。
- **模型选择与微调**：以零样本设置的 GPT-4o 为基线，微调 7 种 cLLMs。采用两种微调方式，一种是基本微调，另一种是融入预识别基本医疗实体（BMEs）信息的微调。
- **模型评估**：从准确性评估和错误关联分析两方面评估微调后的 cLLMs。准确性评估包括精确匹配、宽松匹配和错误分析；错误关联分析研究实体长度、笔记长度和分段对模型性能的影响。
3. **研究结果**
- **模型准确性**：微调后的 GatorTron 和 GatorTronS 性能最佳，融入 CLAMP 输入（预识别 BMEs 信息）能提升部分实体的检测准确性。多数 MHEs 检测难度大，主要因 CC/HPI/PFSH 概念多义性以及非医学词汇的干扰。
- **错误分析**：长实体更难识别，笔记长度增加虽会使错误数量增多，但不一定导致错误率上升，且结构良好的