XTuner 作业

XTuner微调实践

最新推荐文章于 2025-11-30 18:24:05 发布

原创最新推荐文章于 2025-11-30 18:24:05 发布 · 243 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #大作业 #开源

原教程地址：

Tutorial/docs/L1/XTuner at camp3 · InternLM/Tutorial · GitHub

微调前的提问回答：

说自己是小助手

修改准备数据的脚本

命名为“汪星人”的小助手

我喜欢问“你是谁”，所以加了一条

import json

# 设置用户的名字
name = '汪星人'
# 设置需要重复添加的数据次数
n =  3750

# 初始化数据
data = [
    {"conversation": [{"input": "请介绍一下你自己", "output": "我是{}的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦".format(name)}]},
    {"conversation": [{"input": "你在实战营做什么", "output": "我在这里帮助{}完成XTuner微调个人小助手的任务".format(name)}]},
     {"conversation": [{"input": "你是谁", "output": "我是{}微调后的个人小助手".format(name)}]}
]

# 通过循环，将初始化的对话数据重复添加到data列表中
for i in range(n):
    data.append(data[0])
    data.append(data[1])

# 将data列表中的数据写入到'datas/assistant.json'文件中
with open('datas/assistant.json', 'w', encoding='utf-8') as f:
    # 使用json.dump方法将数据以JSON格式写入文件
    # ensure_ascii=False 确保中文字符正常显示
    # indent=4 使得文件内容格式化，便于阅读
    json.dump(data, f, ensure_ascii=False, indent=4)

运行py脚本后，生成了一个json数据文件