MagicPIG 项目使用说明

MagicPIG 项目使用说明

MagicPIG [ICLR2025 Spotlight] MagicPIG: LSH Sampling for Efficient LLM Generation 项目地址: https://gitcode.com/gh_mirrors/ma/MagicPIG

1. 项目目录结构及介绍

MagicPIG 项目目录结构如下：

MagicPIG/
├── assets/               # 存储项目相关资源
├── data/                 # 存储项目使用的数据文件
├── evaluations/          # 存储评估脚本和相关文件
│   └── RULER/            # RULER 评估环境
├── examples/             # 示例脚本和代码
├── library/              # 项目核心库文件
├── models/               # 模型文件和模型相关代码
├── .gitignore            # 指定 Git 忽略的文件和目录
├── LICENSE               # 项目许可证文件
├── README.md             # 项目说明文件
├── install.sh            # 项目安装脚本
├── requirements.txt      # 项目依赖文件

• assets/: 存储项目所需的各种资源文件，如图片、文档等。
• data/: 存储项目运行过程中需要使用到的数据文件，例如文本数据等。
• evaluations/: 包含项目评估所需的脚本和代码，RULER/ 目录是 RULER 评估环境的具体实现。
• examples/: 提供了一些使用本项目进行推理和评估的示例脚本。
• library/: 存储了项目核心的库文件，包括稀疏注意力机制和 LSH 算法等。
• models/: 包含模型文件以及与模型相关的代码，例如预训练的模型参数等。
• .gitignore: 指定了 Git 在版本控制时应该忽略的文件和目录。
• LICENSE: 项目所采用的许可证信息。
• README.md: 项目的说明文件，介绍了项目的相关信息和使用方法。
• install.sh: 脚本用于项目的安装，会安装项目所需的依赖。
• requirements.txt: 列出了项目运行所依赖的 Python 包。

2. 项目的启动文件介绍

项目的启动主要是通过 examples/ 目录下的 Python 脚本进行的。以下是两个典型的启动文件示例：

• generation.py: 用于生成文本。这个脚本会加载预训练的模型，并根据提供的参数生成文本。
• bench.py: 用于性能基准测试。这个脚本会运行一系列的测试来评估模型的性能。

以 generation.py 为例，启动命令如下：

cd examples
numactl -C 0-31,52-83 -m 0,1 \
python generation.py \
--model meta-llama/Meta-Llama-3.1-8B-Instruct \
--M 8192 \
--G 256 \
--K 10 \
--L 170 \
--template meta-llama3 \
--data ../data/story.txt

这个命令会使用 numactl 来优化 CPU 的核心分配，然后运行 generation.py 脚本，其中包含了模型的名称、序列长度、生成长度、LSH 超参数等信息。

3. 项目的配置文件介绍

项目的主要配置是通过命令行参数来完成的，并没有单独的配置文件。这些参数在启动脚本中通过 -- 后跟参数名和值的方式来指定。

例如，在 generation.py 脚本中，可以配置以下参数：

• --model: 指定要使用的模型名称或路径。
• --M: 最大序列长度，用于预分配 VRAM。
• --G: 生成长度。
• --K 和 --L: LSH 超参数。
• --template: 聊天模板。
• --data: 用于生成的源数据文件。

这些参数在运行脚本时根据具体需求进行修改，以达到不同的使用效果。

MagicPIG [ICLR2025 Spotlight] MagicPIG: LSH Sampling for Efficient LLM Generation 项目地址: https://gitcode.com/gh_mirrors/ma/MagicPIG