weixin_43680622的博客

ChatGLM2-6B微调实记1. 准备工作（1）用PyCharm打开LLM-Tuning-master文件夹。（2）设置成自己的环境：nlp（3）将LLM-Tuning-master文件夹在终端打开（4）激活自己的环境：nlp2. 准备数据集（1）将原本符合格式的数据写入到chatglm2_12000_200.json文件中（2）修改tokenize.sh文件（3）对数据进行分词3. 训练（1）修改train.sh文件（2）在终端运行train.sh文件4. 完成

CPM-Bee-5B微调实记1. 准备工作（1）用PyCharm打开CPM-Bee文件夹。（2）设置成自己的环境：nlp（3）将src文件夹在终端打开（4）激活自己的环境：nlp2. 准备数据集（1）将原本符合格式的数据写入到train.jsonl文件中（2）将数据分出一部分到eval.jsonl文件中（3）将数据转换为二进制形式3. 训练（1）修改finetune_cpm_bee.sh文件（2）在终端运行finetune_cpm_bee.sh文件4. 完成

Hugging Face是一个专注于NLP的开源组织，致力于提供易用且高效的NLP工具和模型。Hugging Face的核心目标是使NLP技术更加普遍和可访问。其中，Hugging Face Transformers库是它最为著名的项目之一。Transformers库提供了各种预训练模型（如BERT、GPT、RoBERTa等）和模型架构，可用于解决各种NLP任务。通过本文，我们详细介绍了Hugging Face在自然语言处理中的应用。