书生大模型-LG5000-XTuner 微调个人小助手认知

WongChiang

已于 2025-01-08 10:45:32 修改

阅读量540

点赞数 5

CC 4.0 BY-SA版权

分类专栏：书生大模型训练营-闯关任务作业文章标签： python

于 2024-08-27 21:07:44 首次发布

本文链接：https://blog.youkuaiyun.com/WongChiang/article/details/141611993

基础任务（完成此任务即完成闯关并获得 100 算力点）

使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，记录复现过程并截图。

具体步骤参考官方教程：

step1：安装 XTuner

cd /root/Tutorial/docs/L1/XTuner
pip install -r requirements.txt
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121

结果：

step2：准备模型（1.8b）

step3：准备数据文件datas/assistant.json

使用脚本进行生成

import json
import argparse
from tqdm import tqdm

def process_line(line, old_text, new_text):
    # 解析 JSON 行
    data = json.loads(line)
    
    # 递归函数来处理嵌套的字典和列表
    def replace_text(obj):
        if isinstance(obj, dict):
            return {k: replace_text(v) for k, v in obj.items()}
        elif isinstance(obj, list):
            return [replace_text(item) for item in obj]
        elif isinstance(obj, str):