【Llama 3 五一超级课堂】XTuner 微调 Llama3 个人小助手认知

原创

已于 2024-05-04 22:22:18 修改 · 625 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#llama

于 2024-05-04 22:19:38 首次发布

本文介绍了如何参加Llama3五一学习活动，包括VSCode远程连接、环境设置（如Python和PyTorch版本）、XTuner的安装和配置，以及如何微调Llama3模型、准备训练数据和解决常见问题，如显存不足和训练数据格式错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

报名了【Llama 3 五一超级课堂】的学习活动，有兴趣的一块参与学习～请添加图片描述

XTuner 微调 Llama3 个人小助手认知

准备工作

首先，根据教程做准备工作 VSCode 远程连接 InternStudio 开发机

环境、模型准备

配置环境（未配置时看这里）

安装基础环境

# 使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境了。
conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia