如何使用自有数据微调ChatGLM-6B

快乐的打字员

已于 2023-08-24 00:18:37 修改

阅读量1.6k

点赞数 1

分类专栏： LLM 文章标签：自然语言处理机器学习人工智能

于 2023-07-18 19:29:45 首次发布

本文链接：https://blog.youkuaiyun.com/haohaizijhz/article/details/131709160

版权

LLM 专栏收录该内容

16 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何使用问答对格式构建自定义数据集，对ChatGLM-6B进行微调。讨论了数据集划分、防止过拟合的策略，并详细解析了P-Tuning v2方法，包括参数调整和资源需求。此外，还探讨了不同微调方法的理论和实际效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

构建自己的数据集

数据格式：问答对

官网例子

ADGEN 数据集任务为根据输入（content）生成一段广告词（summary）。

{  
    "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳",  
    "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"  
}