ECG-LLM -- training and evaluation of domain-specific large language models for electrocardiography

文章核心总结与翻译

一、主要内容

该研究聚焦心电图（心血管医学关键领域），探索开源大语言模型（LLM）的领域专业化方法及性能评估，核心内容如下：

1. 研究目标：解决医疗领域中通用LLM存在的隐私风险、领域知识不足、易幻觉等问题，验证开源模型通过领域适配能否达到专有模型的竞争性能，同时支持本地部署以保障隐私。
2. 技术路径：采用两种领域专业化方案——基于领域文献问答对的微调（FT）和检索增强生成（RAG），以Llama 3.1 8B/70B为基础模型，对比专有通用模型Claude Sonnet 3.7的性能。
3. 评估框架：构建四层综合评估体系，包括选择题测试、文本相似度指标（BLEU、ROUGE、BERTScore）、LLM-as-a-judge评估和人类专家评估（含事实类与复杂语义类问题），并通过统计bootstrap验证结果稳健性。
4. 核心发现：
   • 微调后的Llama 3.1 70B在选择题和文本相似度评估中表现最优，整体排名第一；
   • Claude Sonnet 3.7在人类评估和LLM-as-a-judge评估中领先，擅长复杂查询；
   • RAG模型在复杂语义问题中优于微调模型，且支持知识动态更新，无需重新训练；
   • 大模型（70B参数）在各评估维度均显著优于小模型（8B参数）；
   • 单一评估方法存在局限性，综合多维度评估才能全面反映模型能力。