#04【chatglm】微调数据特别长，要调max source length和max target length？会截断数据？

最新推荐文章于 2024-12-17 11:07:35 发布

原创

最新推荐文章于 2024-12-17 11:07:35 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #自然语言处理 #深度学习 #语言模型 #nlp #python #pytorch

文章讲述了在使用LoRA处理长输入文本时，如何调整maxsourcelength和maxtargetlength参数以提高模型性能。同时介绍了在一意AI公众号中获取高质量数据集、报错解决、运算加速和微调教程等服务的价值。

公众号每天更新5条大模型问题及解决方案

今天，在【NLP学习群】中，一位同学问如果我的问题都是input特别长的那种在LoRA训练时是不是得调大我的max source length和max target length？不然是不是会截断训练数据？

01 信息分析：

在微调LoRA时，遇到特别长的输入文本，确实需要调大max source length和max target length。

这两个参数分别控制输入对话历史的最大长度和生成回复的最大长度。通过增加这些参数，让模型有足够的上下文信息，以保证回复连贯性和理解用户问题。但是要注意，增加这些参数也会增加计算成本和内存需求，所以要在资源充足的情况下慎重选择。调整这些参数时，可以逐步增加并评估生成结果和性能，找到适合的平衡点。简而言之，调大max source length和max target length，让LoRA在处理长文本时表现更好！

至此！问题解决！

因为设备、目标不同，如果你的问题还没解决，可以公众号后台回复“问答3000条”进群，有更多同学帮你，也可以点公众号里的有偿1对1！

一意AI增效家

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一意AI增效家

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

ChatGLM ptuning-v2 训练参数解析

强化学习曾小健

06-26

1923

是一个命令行命令，将可见的GPU设备设置为设备编号为0的设备，并使用Python 3解释器运行名为"main.py"的Python程序。: 指定输出目录的路径和名称为"output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR"。：指定输出目录的路径和名称为"output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR"，其中。的变量，并将其设置为2e-2，即0.02。：指定使用的模型的名称或路径为"THUDM/chatglm-6b"。

ChatGLM源码解析 main.py

强化学习曾小健

06-27

1525

这样做的好处是，训练过程结束之后，可以直接打开这个文件查看训练的结果，而不需要重新运行整个脚本。这部分代码首先给每个输入添加前缀，然后使用分词器对输入进行处理，包括分词、截断和填充，得到模型的输入数据。然后对样本集中的每个样本进行遍历，只有当样本中的提问和回答都存在时，才进行处理。，这是由源序列的最大长度和目标序列的最大长度之和得出的。然后，计算context的长度，并生成标签，标签是由-100和回答部分的token id组成。这行代码设置了日志的基本配置，包括日志信息的格式，日期的格式，以及日志处理器。

参与评论您还未登录，请先登录后发表或查看评论

#03 【chatglm】微调大模型的问题要放在哪个字段？四五个样本怎样让大模型记住？

ouhuixiong的博客

08-02

2288

今天，在【NLP学习群】中，一位同学一下问了2个问题，相信大家在微调时也会遇到这样的问题，自己问题应该放在instruction、input、output哪个字段，用什么格式去训练呢？还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。

模型微调：让机器学习模型更好地应对复杂的任务和数据集

AI天才研究院

07-24

1860

作者：禅与计算机程序设计艺术 1.简介什么是模型微调（Model Fine-Tuning）？它是一个重要且具有广泛影响的研究课题，它的主要目的是通过调整或添加一些参数，使得训练好的预训练模型在特定领域或数据集上获得更好的性能。机器学习模型经过很多迭代训练后，最后产生的结果并不一定能够很好地适用于所有的

有关于Transformer 的max_seq_length (max_source_length)

weixin_43301333的博客

01-03

8831

Transformer 的最大输入长度，即/是一个非常值得注意的参数。Transformer的encoder大多是Auto-encoder的结构，不同于Auto-regressive encode，由于auto-encoder缺乏时序序列的位置信息，因此其需要对输入的每个token的position进行编码。而position的编码方式大致为两种：1).基于Embedding 2).非Embedding。

[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞

全网120W+关注AI拉呱，专注人工智能以及科技前沿！

05-26

1259

你也可以直接运行支持加载 P-Tuning v2 checkpoint 的。改为 JSON 文件中输入文本和输出文本对应的 KEY。改成本地的模型路径（注意不是checkpoint路径）。的内容以符合你实际的 checkpoint 情况。），将自动把聊天历史拼接。为你自己的 JSON 格式数据集路径，并将。来匹配你自己的数据集中的最大输入输出长度。为数据中聊天历史的 key（在此例子中是。改成你训练时的实际值。

自然语言处理 微调ChatGLM-6B大模型

guoqingru0311的博客

09-04

1647

自然语言处理 微调ChatGLM-6B大模型

ChatGLM-6B模型训练自己的数据集

weixin_44354947的博客

05-29

7390

上期我主要分享了一下ChatGLM-6B官方模型的部署、官方数据集的微调、推理以及测试过程，这期我将主要分享一下使用ChatGLM-6B微调自己数据集的过程。

ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战

最新发布

Ven%的博客

12-17

2320

Ollama作为一个大模型的部署工具,为了提高它的运行效率,把一些配置参数固定死了。因此，不能完整的使用到大模型的真正的功能，例如：有32k上下文的大模型，通过Ollama部署运行后，若输入的文本超过2048K，模型就会返回文本摘要。其实不是大模型本身会对超长文本进行自动摘要，是因为Ollama内置了默认的2048K的上下文窗口，限制了大模型对于长文本的能力。

【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解

浩瀚宇宙的一粒尘埃

06-09

8620

pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一种可能的方法是，根据不同的指令类型设置不同的pre_seq_len值，例如，对于简单的指令，如“生成一个笑话”，可以设置pre_seq_len为4；不完全是的，pre_seq_len和max_source_length的含义是不同的，但是它们之间有一定的关系。因此，需要根据具体的任务和数据集来调整这个参数，以达到最佳的效果。

ChatGLM3-6B 的调用参数说明，chat 与stream_chat 接口函数的参数说明

白袍小将的博客

12-20

8489

本文通过查看源代码，总结了ChatGLM3-6B两个接口函数，model.chat, model.stream_chat的参数使用说明，便于使用时查阅。

LLM-3-ChatGLM2

qq_15821487的博客

08-27

681

训练的输入长度=source的长度+target的长度–pre_seq_len：pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一般来说，指令越长越复杂，pre_seq_len就需要越大，以便模型能够充分理解指令的含义。但是，pre_seq_len也不能太大，否则会占用过多的输入序列长度，导致生成内容过于单一或重复。

ChatGLM Efficient tuning 参数解析

强化学习曾小健

07-04

968

预训练模型的路径或huggingface.co/models的项目标识符。缺省值：CHATGLM_REPO_NAME use_v2(bool,optional): 是否使用 ChatGLM2。缺省值：False config_name(str,optional): 预训练配置文件名称或路径，不指定则与 model_name 相同。缺省值：None tokenizer_name(str,optional): 预训练分词器名称或路径，不指定则与 model_name 相同。缺省值：None

使用Chatglm-6b微调催收问答对的尝试

05-11

1690

10.在gpt容器中启动微调训练，根据数据量不同及GPU大小，有所不同，tesla T4 16 G 30个问答对大概要24小时。max_source_length及max_target_length 可以根据实际情况调整，对应的是输出和输出的长度。per_device_train_batch_size根据GPU大小进行调整，如：1，2，4，8，16等。8. 打开localhost:6006/lab，输入token，这样就可以方便的上传文件，修改代码了。9. 进入ptuning修改训练脚本train.sh。

个人使用ChatGLM-6B遇到的部分问题汇总

weixin_48713918的博客

05-26

1万+

项目的github网址（https://github.com/THUDM/ChatGLM-6B）中有解决问题专用的Issues模块。建议遇到问题先将部分报错写在这里进行查询，大概率能找到问题的解决方法。本文章只用于记录个人在使用过程中遇到的问题，供以后回忆之用。以下都是在运行cli_demo.py遇到。推荐版本是4.27.1 ，但是好像不太行。以上修改完成后，我的程序就已经可以运行了。这里有多个问题需要解决。

【大模型】—GLM大模型介绍

crystal_csdn8的博客

07-09

1万+

介绍GLM大模型发展历程、模型分类、基本原理和应用场景等内容，从而了解GLM系列模型在人工智能领域的重要性和影响力，以及可能会给我们带来的可能性探索

【发布】ChatGLM又开源了一个6B多模态版本

AITIME_HY的博客

05-19

1618

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！OpenAI 的GPT-4样例中展现出令人印象深刻的多模态理解能力，但是能理解图像的中文开源对话模型仍是空白。近期，智谱AI 和清华大学 KEG 实验室开源了基于ChatGLM-6B 的多模态对话模型 VisualGLM-6B，供大家使用。Github 链接：https://github.com/THUDM/VisualGLM-6BHug...

chatglm3多轮对话训练数据集与微调指南

资源摘要信息:"chatglm3多轮对话训练数据包含了进行深度学习模型训练所需的原始数据、预处理代码以及训练、验证和测试的数据文件。训练文件位于finetune_demo/data/JDMulConversations/train.json路径下，而对应的...