ChatYuan 项目使用教程

ChatYuan 项目使用教程

ChatYuan ChatYuan: Large Language Model for Dialogue in Chinese and English 项目地址: https://gitcode.com/gh_mirrors/ch/ChatYuan

1. 项目目录结构及介绍

ChatYuan/
├── app_gradio.py
├── distributed-training/
│   └── ...
├── img/
│   └── ...
├── LICENSE
├── README-v1.md
├── README.md
└── ...

• app_gradio.py: 项目的启动文件，用于启动Gradio网页交互界面。
• distributed-training/: 包含分布式训练相关的代码和配置文件。
• img/: 存放项目相关的图片资源。
• LICENSE: 项目的开源许可证文件。
• README-v1.md: 项目的介绍文档，包含版本1的详细信息。
• README.md: 项目的介绍文档，包含最新版本的详细信息。

2. 项目启动文件介绍

app_gradio.py

app_gradio.py 是 ChatYuan 项目的启动文件，用于启动 Gradio 网页交互界面。该文件主要包含以下功能：

• 加载模型: 使用 transformers 库加载预训练的语言模型。
• 启动Gradio界面: 通过 Gradio 库创建一个网页界面，用户可以在界面上与模型进行交互。

启动命令：

python app_gradio.py

3. 项目配置文件介绍

依赖配置

在项目中，依赖配置文件通常包含在 requirements.txt 或 setup.py 中。以下是一些常见的依赖配置：

clueai==0.0.2.2.4
gradio==3.20.1
transformers==4.26.1

模型配置

模型配置通常在加载模型时进行，例如：

from transformers import AutoTokenizer, AutoModel

model_dir = 'ClueAI/ChatYuan-large-v2'
tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True)

高级参数配置

在高级参数配置中，可以调整模型的生成参数，例如：

def answer(text, sample=True, top_p=0.9, temperature=0.7, context=""):
    text = f"[context]\n用户：{text}\n小元："
    text = text.strip()
    text = preprocess(text)
    encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=1024, return_tensors="pt").to(device)
    
    if not sample:
        out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_new_tokens=1024, num_beams=1, length_penalty=0.6)
    else:
        out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_new_tokens=1024, do_sample=True, top_p=top_p, temperature=temperature, no_repeat_ngram_size=12)
    
    out_text = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
    return postprocess(out_text[0])

通过这些配置，可以灵活调整模型的生成行为，以满足不同的应用需求。

ChatYuan ChatYuan: Large Language Model for Dialogue in Chinese and English 项目地址: https://gitcode.com/gh_mirrors/ch/ChatYuan