Beyond Quality: Unlocking Diversity in Ad Headline Generation with Large Language Models

论文《Beyond Quality: Unlocking Diversity in Ad Headline Generation with Large Language Models》总结与翻译

一、文章主要内容

本文聚焦广告标题生成领域，针对现有方法多优化标题质量或点击率（CTR）、忽视多样性导致输出同质化的问题，提出名为DIVER的基于大型语言模型（LLMs）的新型框架，实现多样性与质量的联合优化，具体内容如下：

1. 核心问题：当前广告标题生成方法多侧重质量和CTR，输出缺乏多样性，难以满足不同受众群体需求；同时，直接应用LLMs面临多样性与质量难以平衡、高质量特定任务数据集构建成本高的挑战。
2. 框架设计：DIVER采用多阶段多目标优化框架，分为两个核心阶段。
   • 冷启动监督微调（SFT）阶段：设计语义和风格感知的数据生成管道，先利用开源LLMs为原始广告标题标注语义关键词和风格类型（含直观性、Emoji使用、修辞手法三个维度，共16种风格），再微调生成器，使其能基于广告内容、语义关键词和风格类型生成标题，最后通过LLM验证筛选合格标题，构建高质量多样化训练数据集，对模型进行冷启动SFT，使其具备单次生成多个候选标题的基础能力。
   • 多目标强化学习（RL）阶段：设计包含多样