From Memorization to Generalization: Fine-Tuning Large Language Models for Biomedical Term-to-Ide...

文章总结与翻译

一、主要内容

本文聚焦生物医学术语到标识符的标准化映射（术语归一化）问题，探究大型语言模型（LLMs）微调后在记忆（训练集术语表现）和泛化（未见过的验证集术语表现）两方面的性能差异。研究选取三种典型生物医学术语集：人类表型本体（HPO）、基因本体（GO）和蛋白质-基因符号映射（GENE），以Llama 3.1（8B、70B）和GPT-4o为基础模型，通过低秩适应（LoRA）微调Llama 3.1 8B，结合嵌入分析、流行度评估等方法展开研究。

核心发现包括：

1. 模型规模与方向性效应：更大模型（如GPT-4o）基线性能更优；术语→标识符映射准确率始终高于标识符→术语映射，契合LLM自回归训练特性。
2. 微调效果的术语集差异：GO在训练集上记忆效果显著（术语→标识符映射准确率提升达77%），HPO微调收益极小；仅GENE实现验证集泛化（提升13.9%），HPO和GO泛化能力可忽略。
3. 关键影响因素：微调效果由标识符流行度（预训练中术语-标识符对的曝光频率）和词汇化程度（标识符通过嵌入传递语义信息的能力）共同决定。GENE的基因符号具有词汇化特性（与蛋白质名语义对齐），支持泛化；HPO和GO的标识符为任意代码，仅能依赖死记硬背，且HPO标识符流行度低进一步限制记忆效果。

二、创新点

1. 构建了记忆与泛化的量化评估框架：明确界定训练集性能提升为记忆、验证集性能提升为泛化，通过四分类（增益项、损失项、持续正确、持续错误）系统分析微调对知识的影响。
2. 揭示了词汇化与流行度的交互作用机