NeurIPS大语言模型效率挑战赛指南

NeurIPS大语言模型效率挑战赛指南

neurips-llm-efficiency-challenge Starter pack for NeurIPS LLM Efficiency Challenge 2023. 项目地址: https://gitcode.com/gh_mirrors/ne/neurips-llm-efficiency-challenge

项目介绍

本项目是为2023年NeurIPS（神经信息处理系统大会）大型语言模型效率挑战赛设计的入门套件。该挑战旨在探索在严格硬件限制下（即单块NVIDIA RTX 4090或A100 GPU，以及24小时的时间框架内），如何优化大型语言模型（如Llama-2-7b）的微调过程，以提高其在特定任务集合上的性能，包括HELMBenchmark的一部分及未公开的隐藏任务。项目基于Apache-2.0许可协议，并依赖于lit-gpt等工具，已适配实验追踪和模型版本控制功能。

项目快速启动

环境准备

首先，确保你的开发环境已配置好Anaconda或类似环境管理器，并准备好相应的GPU资源。

1. 创建虚拟环境:

   conda create -n neurips-llm python=3.10.0
   conda activate neurips-llm
   

2. 克隆项目并安装必要的依赖:

   git clone --recurse-submodules https://github.com/ayulockin/neurips-llm-efficiency-challenge.git
   cd neurips-llm-efficiency-challenge
   pip install --pre torch torchvision torchaudio --index-url=https://download.pytorch.org/whl/nightly/cu118
   
   # 进入lit-gpt子模块安装特定要求
   cd lit-gpt
   pip install -r requirements.txt tokenizers sentencepiece huggingface_hub wandb>=0.12.10
   cd ..
   

3. 设置CUDA环境（确保兼容性和闪速注意力需求）。

4. 下载预训练模型与数据准备:

   • 注册并获取Hugging Face Token以下载Llama-2-7b模型。
   • 执行以下命令来下载并转换模型:

     python lit-gpt/scripts/download.py --repo_id meta-llama/Llama-2-7b-hf --token <你的HF_TOKEN>
     python lit-gpt/scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-hf
     

   • 准备数据集，例如databricks-dolly-15k:

     python lit-gpt/scripts/prepare_dolly.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-hf
     

5. 验证环境:

   python lit-gpt/generate/base.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-hf --prompt "Tell me an interesting fun fact about earth:"
   

开始微调

选择一种微调策略，比如LoRA：

python lit-gpt/finetune/lora.py --data_dir data/dolly/ --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-hf --precision bf16-true --out_dir out/lora/llama-2-7b

应用案例和最佳实践

在完成上述步骤后，你可以利用微调后的模型进行文本生成、问答、逻辑推理等多种自然语言处理任务。最佳实践包括但不限于监控训练过程中的性能指标，适时调整学习率、正则化策略，利用W&B等工具进行实验跟踪，以及利用小批量样本对模型进行快速迭代评估。

典型生态项目

这个项目本身即是NeurIPS大赛的一个组成部分，但它也鼓励社区共享资源和策略。参与者可以借鉴本项目的结构，结合其他开源的训练脚本和数据处理库，探索在不同基准测试上优化模型效率的方法。此外，项目成果可应用于教育、科研、客户服务自动化等领域，推动AI技术的广泛应用和高效部署。

---

以上就是根据提供的项目仓库生成的简易指导文档。实际应用中，应详细阅读官方文档和注意事项，特别是关于硬件配置和环境搭建的具体细节，以确保一切顺利进行。

neurips-llm-efficiency-challenge Starter pack for NeurIPS LLM Efficiency Challenge 2023. 项目地址: https://gitcode.com/gh_mirrors/ne/neurips-llm-efficiency-challenge