Consistency_LLM 项目使用教程

Consistency_LLM 项目使用教程

Consistency_LLM [ICML 2024] CLLMs: Consistency Large Language Models 项目地址: https://gitcode.com/gh_mirrors/co/Consistency_LLM

1. 项目目录结构及介绍

Consistency_LLM 项目的目录结构如下：

Consistency_LLM/
├── applications/
│   └── assets/img/
├── cllm/
├── data/
├── eval/
├── models/
├── scripts/
├── LICENSE
├── README.md
└── requirements.txt

目录介绍

• applications/: 包含项目的应用代码和资源文件。

  • assets/img/: 存放项目所需的图片资源。

• cllm/: 包含 Consistency Large Language Models (CLLMs) 的核心代码。

• data/: 存放项目的数据文件，包括训练数据和评估数据。

• eval/: 包含用于评估 CLLMs 性能的代码。

• models/: 存放预训练模型和 CLLMs 模型的权重文件。

• scripts/: 包含项目的脚本文件，用于生成轨迹、训练模型等。

• LICENSE: 项目的开源许可证文件。

• README.md: 项目的介绍文档，包含项目的安装、使用和贡献指南。

• requirements.txt: 项目所需的 Python 依赖包列表。

2. 项目的启动文件介绍

项目的启动文件主要位于 scripts/ 目录下，用于执行不同的任务，如生成轨迹、训练模型等。以下是一些关键的启动文件：

生成轨迹

CUDA_VISIBLE_DEVICES=0 bash scripts/generate_trajectory.sh [filename] [model_path] [n_token_seq_size] [max_new_seq_len]

• filename: 原始数据集的路径，支持的数据集包括 data/raw_data/spider, code_search_net, data/raw_data/gsm8k_train.jsonl, data/raw_data/ShareGPT_V3_unfiltered_cleaned_split.json。
• model_path: 模型的路径。
• n_token_seq_size: 生成的 token 序列的大小。
• max_new_seq_len: 生成的最大序列长度。

训练模型

bash scripts/train_cllm.sh [model_path] [trajectory_file] [output_path] [n_token_seq_size]

• model_path: 模型的路径。
• trajectory_file: 生成的轨迹文件路径。
• output_path: 训练输出路径。
• n_token_seq_size: 生成的 token 序列的大小。

3. 项目的配置文件介绍

项目的配置文件主要包括 requirements.txt 和 README.md。

requirements.txt

requirements.txt 文件列出了项目所需的 Python 依赖包及其版本。可以通过以下命令安装这些依赖：

pip install -r requirements.txt

README.md

README.md 文件是项目的介绍文档，包含了项目的安装、使用和贡献指南。以下是一些关键内容：

• 安装: 介绍了如何设置环境并安装项目依赖。
• 使用: 提供了如何使用 CLLMs 进行推理和训练的指南。
• 贡献: 介绍了如何为项目贡献代码。

通过阅读 README.md 文件，用户可以快速了解项目的整体架构和使用方法。

Consistency_LLM [ICML 2024] CLLMs: Consistency Large Language Models 项目地址: https://gitcode.com/gh_mirrors/co/Consistency_LLM