Prompting Large Language Models to Detect Dementia Family Caregivers

文章主要内容总结

本文针对SMM4H 2025共享任务3（检测Twitter上痴呆症家庭护理者的推文）展开研究，该任务为二分类问题：区分推文作者是否提及自己有痴呆症家庭成员（标签1）或仅提及痴呆症但无个人关联（标签0）。

研究核心步骤包括：

1. 数据准备：针对训练集标签不平衡（约33%标签0、67%标签1），采用过采样方法平衡两类样本；未使用预处理（如去停用词），因原始数据包含关键语境信息。
2. 提示设计：测试了零样本、少样本、思维链（Chain of Thought）、级联（Cascade）四种提示策略，将任务转化为指令式对话格式。
3. 模型微调：使用LoRA（低秩适应）和QLoRA（量化LoRA）对Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3两个开源模型进行高效微调，减少资源消耗。

实验结果显示，零样本提示在微调模型上表现最佳，验证集和测试集的macro F1-score均达0.95，接近基准模型BERTweet的0.96。误差分析表明，模型错误多源于关键词过泛化或隐含关系识别不足，未来计划使用更大模型（如70B）进一步优化。

创新点

1. 提示策略对比：系统比较了四种提示策略在大语言模型（LLMs）上的效果，发现零样本提示在微调后性能最优，为类似分类任务提供了提示设计参考。
2. 高效微调方案