DEER 项目启动与配置教程

DEER 项目启动与配置教程

DEER This is the repository of DEER, a Dynamic Early Exit in Reasoning method for Large Reasoning Language Models. 项目地址: https://gitcode.com/gh_mirrors/deer6/DEER

1. 项目目录结构及介绍

DEER 项目目录结构如下：

DEER/
├── bashes/                      # 存放脚本文件
├── data/                        # 存放数据集文件
├── images/                      # 存放项目相关图片
├── prompts/                     # 存放提示文件
├── utils/                       # 存放工具类文件
├── vanilla_deer.py              # 基础的 DEER 模型实现
├── vllm-deer.py                 # 基于 vLLM 框架的 DEER 模型实现
├── vllm-deer-qwen3.py           # 基于 vLLM 框架的 DEER 模型实现（针对 Qwen3 系列）
├── check.py                     # 模型评估脚本
├── requirements.txt             # 项目依赖文件
├── LICENSE                      # 项目许可证文件
├── README.md                    # 项目说明文件

• bashes/: 包含了运行项目时需要用到的脚本文件，例如启动脚本和评估脚本。
• data/: 存放项目所需的数据集，例如数学推理任务的数据集。
• images/: 存放与项目相关的图表或展示图片。
• prompts/: 存放模型训练或推理时使用的提示文件。
• utils/: 包含了项目所需的工具类代码，例如数据处理或模型辅助函数。
• vanilla_deer.py: 实现了基础的 DEER 模型。
• vllm-deer.py 和 vllm-deer-qwen3.py: 分别是基于 vLLM 框架的 DEER 模型实现，其中 vllm-deer-qwen3.py 是专门为 Qwen3 系列模型设计的。
• check.py: 用于对模型推理结果进行评估的脚本。
• requirements.txt: 列出了项目依赖的 Python 包。
• LICENSE: 项目使用的许可证信息，本项目采用 MIT 许可。
• README.md: 项目说明文件，包含了项目的基本信息和如何使用项目。

2. 项目的启动文件介绍

项目的启动文件主要是指 vanilla_deer.py、vllm-deer.py 和 vllm-deer-qwen3.py 这三个 Python 脚本。下面以 vllm-deer.py 为例进行介绍：

vllm-deer.py 是用于启动基于 vLLM 框架的 DEER 模型的 Python 脚本。该脚本的主要功能是加载预训练模型、处理数据集、运行推理并保存结果。下面是脚本的部分关键代码：

# 加载必要的库
from transformers import ...
import torch
import os

# 设置参数
model_name_or_path = ...
dataset_dir = ...
output_path = ...
dataset = ...
threshold = ...
max_generated_tokens = ...
think_ratio = ...
batch_size = ...
policy = ...
dtype = ...
gpu_memory_utilization = ...

# 加载模型
model = ...
tokenizer = ...

# 推理过程
def推理():
    # ...
    pass

# 主函数
def main():
    # ...
    推理()
    # ...

if __name__ == "__main__":
    main()

用户需要根据实际情况配置参数，然后运行该脚本以启动模型。

3. 项目的配置文件介绍

项目的配置主要通过修改 requirements.txt 文件以及各个启动脚本中的参数进行。以下是配置步骤：

• requirements.txt: 使用文本编辑器打开该文件，根据项目需求添加或删除依赖的 Python 包。
• 启动脚本参数配置：打开 vllm-deer.py、vllm-deer-qwen3.py 等脚本文件，根据实际需求修改模型名称、数据集路径、输出路径、阈值等参数。

确保所有参数设置正确后，就可以使用 Python 运行相应的脚本，启动项目并进行推理或评估。

DEER This is the repository of DEER, a Dynamic Early Exit in Reasoning method for Large Reasoning Language Models. 项目地址: https://gitcode.com/gh_mirrors/deer6/DEER