使用PaddleNLP 从0构建一个属于你自己的心理大模型

项目源于：EmoLLM心理大模型,一直就有用paddle实践心理大模型的想法，终于实现了哈~。接下来就手把手带大家一块做一个心理大模型吧！！！ 简单画了个框架图： 

环境配置

In [ ]

# !git clone -b develop https://github.com/PaddlePaddle/PaddleNLP.git
%cd PaddleNLP
!pip install -e .

# 为了解决一个环境依赖问题，在训练的时候随机出现的，稍微有点离谱，大概是环境的问题

%cd ~
# !git clone https://github.com/PaddlePaddle/PaddleSlim
%cd PaddleSlim/csrc
!python ./setup_cuda.py install 

数据集构建

参考飞桨大模型精调文档，PaddleNLP支持的数据格式是每行包含一个字典，每个字典包含以下字段：

• src : str, List(str), 模型的输入指令（instruction）、提示（prompt），模型应该执行的任务。

• tgt : str, List(str), 模型的输出。

多轮对话时如下：

{"src": ["user-1", "user-2", ..., "user-n"], "tgt": ["bot-1", "bot-2", ..., "bot-n"]}

为了使我们的心理大模型有更好的表达效果，我们必须要有高质量的数据集。自己构建数据集相当麻烦呜呜，因此决定借用文心大模型的强大能力，通过调用文心一言的API来生成对应的数据集。因为心理活动往往是复杂的，为了保证数据的多样性。我们选择了16 * 28 共 448个场景(如下)进行数据集生成，

emotions_list : [
        "钦佩",
        "崇拜",
        "欣赏",
        "娱乐",
        "焦虑",
        "敬畏",
        "尴尬",
        "厌倦",
        "冷静",
        "困惑",
        "渴望",
        "厌恶",
        "同情",
        "痛苦",
        "着迷",
        "嫉妒",
        "兴奋",
        "恐惧",
        "痛恨",
        "有趣",
        "快乐",
        "怀旧",
        "浪漫",
        "悲伤",
        "满意",
        "性欲",
        "同情",
        "满足"
    ]
areas_of_life : [
    "工作",
    "学业",
    "生活",
    "身体",
    "家人",
    "朋友",
    "社交",
    "恋爱",
    "就业",
    "责任",
    "爱好",
    "环境",
    "隐私",
    "安全",
    "梦想",
    "自由"
]

需要配置config.yml,将自己的访问令牌放入即可。

配置文心一言

In [ ]

!pip install erniebot

In [2]

import erniebot
erniebot.api_type = 'aistudio'
erniebot.access_token = "{个人中心的访问令牌}"#请输入自己的访问令牌

数据生成

In [ ]

import json
import random
import yaml 
import erniebot
with open('config.yml', 'r', encoding='utf-8') as f:
    configs = yaml.load(f.read(), Loader=yaml.FullLoader)

erniebot.api_type = 'aistudio'
#此处需要将你的token也就是AIstudio主页的访问令牌放到下方
erniebot.access_token = configs['aistudio _token']
system = configs['system']
areas_of_life = configs['areas_of_life']
emotions_list = configs['emotions_list']
words = ''
# prompt = '''
# 你是一个研究过无数具有心理健康问题的病人与心理健康医生对话案例的专家，请你构造一些符合实际情况的具有心理健康问题的病人和心理健康医生的多轮对话案例。要求医生的回复尽可能包含心理辅导知识，并且能够一步步诱导病人说出自己的问题进而提供解决问题的可行方案。注意，构造的数据必须以医生的陈述为结束语。请以如下格式返回生成的数据：
# 病人：病人的咨询或陈述
# 医生：医生的安抚和建议
# '''
res = []
for data in areas_of_life[:2]:
    for emo in emotions_list[:2]:
        print(f'正在为{data}_{emo}场景生成对应数据集')
        
        prompt = f'''你是一个研究过无数具有心理健康问题的病人与心理健康医生对话的专家，请你构造一些符合实际情况的具有心理健康问题的病人和心理健康医生的连续的多轮对话记录。
        要求病人的问题属于{data}场景，具有{emo}情感，医生的回复尽可能包含心理辅导知识，并且能够一步步诱导病人说出自己的问题进而提供解决问题的可行方案。
        注意，构造的数据必须以医生的陈述为结束语，每次只需要构造一个案例并且不需要写案例一、二等等，请返回完整的对话内容。
        请以如下格式返回生成的数据：
        病人：病人的咨询或陈述 
        医生：医生的安抚和建议
        '''
        try :
        for i in range(1):
            response = erniebot.ChatCompletion.create(
                model='erni