Llama3-8B-Chinese-Chat-GGUF-8bit 模型安装与使用教程

最新推荐文章于 2024-12-24 11:42:26 发布

原创最新推荐文章于 2024-12-24 11:42:26 发布 · 918 阅读

22 ·

CC 4.0 BY-SA版权

Llama3-8B-Chinese-Chat-GGUF-8bit 模型安装与使用教程

Llama3-8B-Chinese-Chat-GGUF-8bit 项目地址: https://gitcode.com/mirrors/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit

引言

随着人工智能技术的快速发展，语言模型在各个领域的应用越来越广泛。Llama3-8B-Chinese-Chat-GGUF-8bit 模型作为一款专门为中文和英文用户设计的指令调优语言模型，具备强大的角色扮演、工具使用和数学计算能力。本文将详细介绍如何安装和使用该模型，帮助用户快速上手并充分发挥其潜力。

主体

安装前准备

在开始安装之前，请确保您的系统满足以下要求：

操作系统：支持 Linux、macOS 和 Windows 系统。
硬件要求：建议使用至少 16GB 内存的设备，并配备 NVIDIA GPU（推荐显存 8GB 以上）。
必备软件：Python 3.8 或更高版本，CUDA 11.0 或更高版本（如使用 GPU）。

此外，您还需要安装以下依赖项：

transformers 库
llama-cpp 库
deepspeed 库（可选，用于加速训练）

可以通过以下命令安装这些依赖项：

pip install transformers llama-cpp deepspeed

安装步骤

下载模型资源

首先，您需要从指定的链接下载模型文件。请访问以下链接获取模型资源：

https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit

下载完成后，将模型文件解压到您的工作目录中。

安装过程详解

克隆 LLaMA-Factory 仓库：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

设置环境变量：

根据您的系统配置，设置相应的环境变量，例如 CUDA 路径和 Python 路径。

运行安装脚本：

使用以下命令启动模型的安装过程：

deepspeed --num_gpus 8 src/train_bash.py \
    --deepspeed ${Your_Deepspeed_Config_Path} \
    --stage orpo \
    --do_train \
    --model_name_or_path meta-llama/Meta-Llama-3-8B-Instruct \
    --dataset ${Your_Dataset_Name_or_PATH} \
    --template llama3 \
    --finetuning_type full \
    --output_dir ${Your_Output_Path} \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --log_level info \
    --logging_steps 5 \
    --save_strategy epoch \
    --save_total_limit 3 \
    --save_steps 100 \
    --learning_rate 5e-6 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --do_eval false \
    --max_steps -1 \
    --bf16 true \
    --seed 42 \
    --warmup_ratio 0.1 \
    --cutoff_len 8192 \
    --flash_attn true \
    --orpo_beta 0.05 \
    --optim paged_adamw_32bit

常见问题及解决

问题1：模型加载失败。
- 解决方法：检查模型文件路径是否正确，确保文件完整性。
问题2：GPU 显存不足。
- 解决方法：减少批处理大小或使用更高效的量化版本模型。

基本使用方法

加载模型

使用以下代码加载模型：

from llama_cpp import Llama

model = Llama(
    "/Your/Path/To/GGUF/File",
    verbose=False,
    n_gpu_layers=-1,
)

简单示例演示

以下是一个简单的示例，展示如何使用模型生成文本：

system_prompt = "You are a helpful assistant."

def generate_response(_model, _messages, _max_tokens=8192):
    _output = _model.create_chat_completion(
        _messages,
        stop=["<|eot_id|>", "<|end_of_text|>"],
        max_tokens=_max_tokens,
    )["choices"][0]["message"]["content"]
    return _output

messages = [{"role": "system", "content": system_prompt},
            {"role": "user", "content": "你好，你能帮我解答一个数学问题吗？"}]

response = generate_response(model, messages)
print(response)