The Promise of Large Language Models in Digital Health: Evidence from Sentiment Analysis in Onlin...

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在数字健康领域情感分析（SA）中的应用，旨在解决数字健康分析面临的专家知识稀缺、传统机器学习方法数据短缺和隐私受限等问题。

研究以在线健康社区（OHCs）为研究场景，这类社区中的帖子存在混合情感、专业临床术语和隐含情感表达，对情感分析的准确性要求高。为应对这些挑战，研究团队开发了结构化编码手册，将专家解读指南系统地编码其中，通过针对性提示让LLMs应用领域特定知识，而非依赖大量训练数据。

研究对比了6个GPT模型以及DeepSeek、LLaMA 3.1模型，与预训练语言模型（BioBERT变体）和基于词典的方法（VADER、TextBlob、SentiWordNet）的性能。使用来自两个健康社区的400条专家标注帖子作为数据集，结果显示LLMs表现更优，准确率达81%-89%，而传统方法准确率仅48%-72%，且LLMs与专家的一致性（Fleiss’ Kappa：0.42-0.75）与专家间一致性无统计学显著差异（p>0.05）。

同时，置信度校准分析表明推理模型（如GPT-o3）能提供可靠的不确定性估计，支持在医疗场景中进行质量控制部署。研究还通过标签分布分析、标注者间一致性分析、LLM与专家一致性分析、基于多数标签的性能分析等多维度评估，验证了LLMs在数字健康情感分析中的有效性，并提供了开源实现，方便在不同医疗研究场景中应用。

二、文章创新点

1. 结构化编码手册驱动的知识集成：首次开发结构化编码手册，将专家领域知识（包括标签定义、决策规