ENHANCING HUMAN-LIKE RESPONSES IN LARGE LANGUAGE MODELS

在这里插入图片描述

主要内容

  1. 研究背景与目的:大语言模型(LLMs)在自然语言处理方面取得进展,但回复往往正式、缺乏人情味。研究旨在提升LLMs回复的“类人性”,使AI交互更具对话性、亲和力和情感共鸣,同时不影响正式任务的准确性。
  2. 相关工作:多种研究致力于提升LLMs回复的类人特质,如强化学习从人类反馈(RLHF)、DialoGPT利用Reddit数据、Meena优化对话连贯性、LLM Roleplay框架基于角色交互生成对话等。该研究在此基础上,整合心理学见解、使用系统提示并采用直接偏好优化(DPO)技术。
  3. 数据准备:使用Llama 3 70B和405B模型,借鉴Self-Instruct方法创建合成数据集。通过精心设计系统提示,生成对话式问题、常识性问题,引导模型产生类人回复和正式回复,并将其分类。设置特定参数控制回复的多样性和创造性,利用Atlas Nomic Map可视化数据集,最终数据集包含10884个样本,涵盖256个主题 。
  4. 模型训练
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值