主要内容
- 研究背景与目的:大语言模型(LLMs)在自然语言处理方面取得进展,但回复往往正式、缺乏人情味。研究旨在提升LLMs回复的“类人性”,使AI交互更具对话性、亲和力和情感共鸣,同时不影响正式任务的准确性。
- 相关工作:多种研究致力于提升LLMs回复的类人特质,如强化学习从人类反馈(RLHF)、DialoGPT利用Reddit数据、Meena优化对话连贯性、LLM Roleplay框架基于角色交互生成对话等。该研究在此基础上,整合心理学见解、使用系统提示并采用直接偏好优化(DPO)技术。
- 数据准备:使用Llama 3 70B和405B模型,借鉴Self-Instruct方法创建合成数据集。通过精心设计系统提示,生成对话式问题、常识性问题,引导模型产生类人回复和正式回复,并将其分类。设置特定参数控制回复的多样性和创造性,利用Atlas Nomic Map可视化数据集,最终数据集包含10884个样本,涵盖256个主题 。
- 模型训练