GLM4-9B-chat模型微调

github地址：https://github.com/THUDM/GLM-4

一、环境：

操作系统: Ubuntu 22.04

CUDA: 11.8

GPU: 4090 24G

创建conda环境：

conda create -n glm4 python=3.10.14

conda activate glm4

cd /home/data/chatglm4-finetune

二、数据准备

使用“豆包”生成一些用于train的数据集和test的数据集

代码格式如下：

{"messages": [{"role": "user", "content": "《阿长与〈山海经〉》中，作者对阿长的情感经历了怎样的变化？"},{"role": "assistant", "content": "答案：作者对阿长的情感经历了从厌恶、不耐烦到感激、怀念的变化。"}]}
{"messages": [{"role": "user", "content": "《老王》中，作者是如何刻画老王的形象的？"},{"role": "assistant", "content": "答案：通过外貌描写、语言描写、动作描写等，如“他面如死灰，两只眼上都结着一层翳”“他说：‘我送钱先生看病，不要钱。’”“他一手拿着布，一手攥着钱，滞笨地转过身子”等，展现了老王的穷苦、善良和老实。"}]}
{"messages": [{"role": "user", "content": "《台阶》中，台阶在文中有什么象征意义？"},{"role": "assistant", "content": "答案：台阶象征着父亲的理想和追求，也象征着农村社会的等级观念和传统观念。"}]}
{"messages": [{"role": "user", "content": "《卖油翁》中，这个故事告诉我们一个什么道理？"},{"role": "assistant", "content": "答案：这个故事告诉我们熟能生巧的道理，同时也说明了人不应骄傲自满，要谦虚谨慎。"}]}
{"messages": [{"role": "user", "content": "《叶圣陶先生二三事》中，叶圣陶先生的“写话”主张是什么？"},{"role": "assistant", "content": "答案：叶圣陶先生主张“写成文章，在这间房里念，要让那间房里的人听着，是说话，不是念稿，才算及了格”。"}]}
{"messages": [{"role": "user", "content": "《驿路梨花》中，“梨花”在文中多次出现，有什么作用？"},{"role": "assistant", "content": "答案：“梨花”在文中多次出现，起到了贯穿全文的线索作用，同时也象征着助人为乐的精神。"}]}
{"messages": [{"role": "user", "content": "《最苦与最乐》中，作者是怎样论述“责任”与“苦乐”的关系的？"},{"role": "assistant", "content": "答案：作者认为人生最苦的事是身上背着一种未来的责任，因为受那良心责备不过，要逃躲也没处逃躲；而责任完了是人生第一件乐事，因为这种快乐是从苦中得来的，是更真实的快乐。"}]}
{"messages": [{"role": "user", "content": "《陋室铭》中，作者是从哪些方面来描写陋室的？"},{"role": "assistant", "content": "答案：作者从陋室的环境、交往人物和日常生活等方面来描写陋室，如“苔痕上阶绿，草色入帘青”描写了陋室的环境，“谈笑有鸿儒，往来无白丁”描写了交往人物，“可以调素琴，阅金经”描写了日常生活。"}]}
{"messages": [{"role": "user", "content": "《爱莲说》中，作者用了什么写作手法来表现莲花的品质？"},{"role": "assistant", "content": "答案：作者用了托物言志的写作手法，通过对莲花的描写和赞美，表达了自己不慕名利、洁身自好的高尚品质。"}]}
{"messages": [{"role": "user", "content": "《紫藤萝瀑布》中，作者是怎样由紫藤萝花联想到人生的？"},{"role": "assistant", "content": "答案࿱