LM_Memorization 项目使用教程

LM_Memorization 项目使用教程

LM_Memorization Training data extraction on GPT-2 项目地址: https://gitcode.com/gh_mirrors/lm/LM_Memorization

1. 项目目录结构及介绍

LM_Memorization/
├── .gitignore
├── LICENSE
├── README.md
├── Samples.md
├── download_cc.sh
├── extraction.py
└── ...

• .gitignore: 用于指定Git版本控制系统忽略的文件和目录。
• LICENSE: 项目的开源许可证文件，本项目使用MIT许可证。
• README.md: 项目的介绍文件，包含项目的基本信息、安装步骤和使用说明。
• Samples.md: 包含从GPT-2模型中提取的一些有趣数据的示例。
• download_cc.sh: 用于下载Common Crawl数据集的脚本。
• extraction.py: 项目的主要启动文件，用于从GPT-2模型中提取训练数据。

2. 项目的启动文件介绍

extraction.py

extraction.py 是项目的主要启动文件，用于从GPT-2模型中提取训练数据。该文件的主要功能包括：

• 生成样本: 使用GPT-2模型生成指定数量的文本样本。
• 评估样本: 根据多种指标（如GPT-2模型的困惑度、GPT-2模型与GPT-2小型模型的困惑度比率等）对生成的样本进行评估。
• 输出结果: 输出根据评估指标排序后的前10个样本，这些样本可能包含GPT-2训练数据中的原文。

使用示例

python3 extraction.py --N 1000 --batch-size 10

• --N 1000: 指定生成1000个样本。
• --batch-size 10: 指定批处理大小为10。

3. 项目的配置文件介绍

依赖库配置

项目依赖于以下Python库：

• transformers
• pytorch
• tqdm

这些库可以通过以下命令安装：

pip install transformers torch tqdm

数据集配置

项目中使用Common Crawl数据集作为提示文本的来源。可以通过运行以下脚本来下载数据集：

./download_cc.sh

下载的数据集将存储在名为commoncrawl.warc.wet的文件中。

运行配置

在运行extraction.py时，可以通过命令行参数配置生成样本的数量、批处理大小等参数。例如：

python3 extraction.py --N 1000 --batch-size 10 --internet-sampling --wet-file commoncrawl.warc.wet

• --internet-sampling: 启用基于互联网文本的提示生成。
• --wet-file commoncrawl.warc.wet: 指定Common Crawl数据集文件的路径。

通过以上配置，可以灵活地调整项目的运行参数，以适应不同的实验需求。

LM_Memorization Training data extraction on GPT-2 项目地址: https://gitcode.com/gh_mirrors/lm/LM_Memorization