ChatGLM2-6B在Windows下的微调

ChatGLM2-6B在Windows下的微调

零、重要参考资料

1、ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）：这是最关键的一篇文章，提供了Windows下的脚本
2、LangChain + ChatGLM2-6B 搭建个人专属知识库：提供了基本的训练思路。

一、前提

1、已完成ChatGLM2-6B的部署，假设部署位置为D:_ChatGPT\langchain-chatglm_test\ChatGLM2-6B
2、部署环境
Windows 10 专业版、已安装CUDA11.3、Anaconda3，有显卡NVIDIA GeForce RTX 3060 Laptop GPU。

二、总体思路

由于官方文档和一般博客中都是在Linux环境下完成，所以在Windows下主要注意两点：
1、huggingface下载的chatglm2-6b模型的目录不能有减号存在，否则报错。
2、使用bat文件替代官方文档中的sh文件。

三、安装依赖及环境准备

1、进入Anaconda Powershell Prompt

2、进入虚拟环境

conda activate langchain-chatglm_test

3、安装依赖

pip install rouge_chinese nltk jieba datasets

4、禁用W&B，如果不禁用可能会