ENHANCING HUMAN-LIKE RESPONSES IN LARGE LANGUAGE MODELS

主要内容

1. 研究背景与目的：大语言模型（LLMs）在自然语言处理方面取得进展，但回复往往正式、缺乏人情味。研究旨在提升LLMs回复的“类人性”，使AI交互更具对话性、亲和力和情感共鸣，同时不影响正式任务的准确性。
2. 相关工作：多种研究致力于提升LLMs回复的类人特质，如强化学习从人类反馈（RLHF）、DialoGPT利用Reddit数据、Meena优化对话连贯性、LLM Roleplay框架基于角色交互生成对话等。该研究在此基础上，整合心理学见解、使用系统提示并采用直接偏好优化（DPO）技术。
3. 数据准备：使用Llama 3 70B和405B模型，借鉴Self-Instruct方法创建合成数据集。通过精心设计系统提示，生成对话式问题、常识性问题，引导模型产生类人回复和正式回复，并将其分类。设置特定参数控制回复的多样性和创造性，利用Atlas Nomic Map可视化数据集，最终数据集包含10884个样本，涵盖256个主题 。
4. 模型训练：运用低秩适应（LoRA）和DPO技术对Llama3-8B-Instruct、Qwen-2.5-7B-Instruct和Mistral-Nemo-Instruct-2407等模型进行训练，使用Axolotl框架和Weights and Biases跟踪实验，设置一系列超参数。训练过