DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation

该文章提出了领域自适应持续预训练（DACP）框架，旨在解决小型大语言模型（LLM）在电话对话摘要等专业领域性能不足的问题，通过无标记业务对话数据实现模型领域适配，同时保持泛化能力。

一、文章主要内容总结

1. 研究背景
   • 大型LLM在通用文本摘要任务中表现优异，但在与预训练数据分布不同的专业领域（如电话对话摘要）性能显著下降。
   • 小型LLM（参数小于10B）因推理成本低更适合工业部署，但领域适配需大量人工标注数据，存在成本高、隐私风险等问题。
2. 核心方法：DACP框架
   • 数据构成：包含两部分，一是25B tokens的高质量匿名业务对话数据（从50M条ASR生成 transcript中筛选，基于token类型熵选25M条），二是25B tokens的经验回放数据（来自FineWeb-Edu，缓解灾难性遗忘）。
   • 训练流程：先基于Next Token Prediction（NTP）目标进行持续预训练，再用84585条指令微调数据（含业务任务与通用指令）微调，最后在下游任务评估。
   • 实验设置：以LLaMA-3.1-8B和Mistral-v0.3-7B为基础模型，在6节点A100集群训练，评估指标包括ROUGE、BERTScore、AlignScore。
3. 关键实验结果