NPM项目使用教程

NPM项目使用教程

NPM The original implementation of Min et al. "Nonparametric Masked Language Modeling" (paper https//arxiv.org/abs/2212.01349) 项目地址: https://gitcode.com/gh_mirrors/npm3/NPM

1. 项目介绍

NPM（Nonparametric Masked Language Modeling）是由Facebook Research团队开发的一个非参数掩码语言建模项目。该项目基于Min等人的论文《Nonparametric Masked Language Modeling》，旨在通过非参数方法改进语言模型的性能。NPM项目提供了原始实现代码，支持闭集和开集任务的实验，并提供了模型训练和推理的代码。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了Python 3.7及以上版本，并创建一个conda环境：

conda create -n npm python=3.7
conda activate npm

2.2 安装依赖

激活环境后，安装项目所需的依赖包：

pip3 install -r requirements.txt --user

如果你将使用开集任务，还需要安装Java：

conda install -c conda-forge openjdk

2.3 下载数据

下载评估数据集和参考语料库：

# 下载闭集任务数据
bash scripts/download_data.sh closed
bash scripts/download_corpus.sh closed

# 下载开集任务数据
bash scripts/download_data.sh open
bash scripts/download_corpus.sh enwiki

2.4 运行闭集任务

以运行RoBERTa-large基线为例：

python -m scripts.prompt \
  --checkpoint_path roberta-large \
  --eval_dataset agn+yahoo+rte+subj+sst2+mr+rt+cr+amazon \
  --save_dir save/roberta \
  --single

2.5 运行开集任务

运行因果语言模型基线（T5基线待定）：

python -m scripts.clm_prompt \
  --eval_dataset [lama-trex|lama-google_re|kamel|triviaqa|nq|entity_translation] \
  --model_name [j-6b|neo-1.3b|neo-2.7b|neox-20b|opt-1.3b|opt-2.7b|opt-6.7b|opt-13b|opt-30b|bloom-1b7|bloom-3b|bloom-7b1] \
  --save_dir save

3. 应用案例和最佳实践

3.1 闭集任务应用

NPM在闭集任务中的应用主要集中在情感分析、文本分类等任务上。通过使用NPM模型，可以在这些任务上获得比传统参数化模型更好的性能。

3.2 开集任务应用

在开集任务中，NPM可以用于知识问答、实体翻译等任务。通过结合外部语料库，NPM能够更好地处理开放域的问题。

3.3 最佳实践

• 数据预处理：确保数据集和语料库的下载和预处理步骤正确无误。
• 模型选择：根据任务需求选择合适的模型（如NPM或NPM-single）。
• 参数调优：通过调整温度参数等超参数，优化模型性能。

4. 典型生态项目

4.1 Huggingface Hub

NPM模型可以在Huggingface Hub上找到，方便用户直接加载和使用。

4.2 其他语言模型项目

NPM项目可以与其他语言模型项目（如BERT、GPT等）结合使用，进一步提升语言模型的性能。

4.3 社区贡献

鼓励用户通过GitHub提交问题和PR，共同完善NPM项目。

NPM The original implementation of Min et al. "Nonparametric Masked Language Modeling" (paper https//arxiv.org/abs/2212.01349) 项目地址: https://gitcode.com/gh_mirrors/npm3/NPM