第七篇-Tesla P40+ChatGLM2+P-Tuning

原创

已于 2023-08-05 11:30:47 修改 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#chatgpt #人工智能 #centos

于 2023-08-01 23:16:26 首次发布

文章介绍了在CentOS7环境中使用ChatGLM2-6B模型进行微调的过程，包括设置环境、安装依赖、数据准备、代码调整和验证，重点展示了如何在TeslaP40GPU上进行训练并评估效果。

本文目的

本文仅仅是测试一下ptuning技术方案，使用少量数据测试下微调流程

环境

  系统：CentOS-7
  CPU: 14C28T
  显卡：Tesla P40 24G
  驱动: 515
  CUDA: 11.7
  cuDNN: 8.9.2.26

模型文件

https://huggingface.co/THUDM/chatglm2-6b
下载模型相关文件到自己目录
我的是/models/chatglm2-6b

[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r-