llama-factory-0.7.0微调llama3-8B-Instruct-262k

1.摘要

用llama-factory-0.7.0微调Llama-3-8B-Instruct-262k,微调数据是1.5k的论文审稿。

GPU配置是A40.

用llama-factory的0.7.1版本微调Llama-3-8B-Instruct-262k.

2.准备工作

2.1软硬件依赖

2.2 安装LLaMA-Factory

下载0.7.0版本

cd LLaMA-Factory

pip install –r requirements.txt

pip install -e .[metrics]

2.3 下载模型Llama-3-8B-Instruct-262k

https://huggingface.co/gradientai/Llama-3-8B-Instruct-262k

2.4 微调数据整理

数据文件：paper_review.json

微调数据文件paper_review.json中的数据格式：

{

"input_sys": "",

"instruction":""