15chatGLM3半精度微调

1 模型准备       

         数据依然使用之前的数据，但是模型部分我们使用chatglb-3，该模型大小6B，如果微调的话需要24*4 = 96GB,硬件要求很高，那么我们使用半精度微调策略进行调试，半精度微调有很多坑啊，注意别踩到了；

#依赖 pip install modelscope

# pip install transformers==4.40.2, 不知道为什么使用之前的版本推理有问题！

模型	http://chatGLM3

模型文件很大，综合十几个G的，自己试试吧；

2 模型介绍

如果假设 ChatGLM3 是 ChatGLM 系列的后续版本，那么可以推测它可能是对现有 ChatGLM 模型的进一步改进和扩展。这样的改进可能包括但不限于以下几个方面：

1. 模型规模：增加模型的参数量，以提高模型的表达能力和泛化能力。
2. 架构改进：引入新的架构设计，例如更先进的注意力机制或其他创新技术，以提高模型的性能。
3. 训练数据：使用更多的训练数据，特别是高质量的对话数据，以增强模型的理解和生成能力。
4. 优化技术：采用更高效的训练方法和优化算法，以加速训练过程并提高模型的收敛速度。
5. 多模态能力：增强模型处理多种模态数据（如图像、视频等）的能力，使其成为一个更全面的多模态模型。