Unsloth: Input IDs of length 10201 ＞ the model‘s max sequence length of 8192.

最新推荐文章于 2025-05-31 00:38:30 发布

小李李3

最新推荐文章于 2025-05-31 00:38:30 发布

阅读量787

点赞数 1

文章标签：自然语言处理多分类语言模型 llama python

本文链接：https://blog.youkuaiyun.com/qq_43985140/article/details/139799914

版权

问题：运行Llama3-Chinese-8B-Instruct微调后的模型，出现Unsloth: Input IDs of length 10201 > the model's max sequence length of 8192.问题。

解决办法：

将max_seq_length = 2048 修改为 max_seq_length = 20402

# 原语句
max_seq_length = 2048
# 修改为下列语句
max_seq_length = 20402

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小李李3

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

BadRequestError: Context length exceeded the 8192 token limit, resulting in error code 400

suiusoar

06-27

1300

BadRequestError: 上下文长度超过了8192个标记的限制，导致错误代码400

【异常】openai error: This model‘s maximum context length is 16385 tokens. However

本本本添哥

11-01

3319

对于长篇文本，可以先生成一个摘要或关键点列表，然后再用这些简化的信息作为输入。

参与评论您还未登录，请先登录后发表或查看评论

测试Token indices is longer than the maximum sequence length for this model (3013602 ＞ 131072)

阿正的梦工坊

12-29

2860

序列长度就是输入文本经过 tokenization 处理后的 token 数量，具体的长度由文本的长度、tokenization 方法、模型架构等因素决定

使用python访问mindie部署的vl多模态模型

yuanlulu的博客

04-08

529

今天使用mindie1.0部署了qwen2_7b_vl模型，测试过程出现一些问题，这里总结下。

大模型评测框架Olmes使用：IFEval评测ValueError: max_gen_toks (2048) is greater than max_length (2048)解决方法

阿正的梦工坊

12-17

1340

使用--model-args参数

This model‘s maximum context length is 4097 tokens, however you requested 6391 tokens (5367 in your

Yolanda_723的博客

05-29

4303

在使用langchain框架构建本地知识库时，query过程中报错“This model's maximum context length is 4097 tokens, however you requested 6391 tokens (5367 in your prompt;检查了很多问题，最后发现是TextSplitter的问题。原本代码中用的加载器是RecursiveTextSplitter，将它改成CharacterTextSplitter后就不再报错，语言模型也能返回正确的回答了。

全量微调Llama2-7b遇到的错误(stanford_alpaca)

鲨鱼儿的博客

03-24

3127

模型：Llama-2-7b-chat-hf。openai的版本不对，更换版本。

BUG: ValueError: The model‘s max seq len (32768) is larger than the maximum number of tokens

集电极

05-27

6047

使用vllm启动大模型出现的错误。问题原因大模型上下文长度超出了所用显卡GPU的KV缓存限制。

[WARNING|logging.py:329] 2025-03-04 18:56:07,620 >> Unsloth: Input IDs of length 8200 > the model's max sequence length of 8192. We shall truncate it ourselves. It's imperative if you correct this issue first. swanlab: Error happened while training swanlab: 🌟 Run `swanlab watch /root/autodl-tmp/ai/LLaMA-Factory/swanlog` to view SwanLab Experiment Dashboard locally swanlab: 🏠 View project at https://swanlab.cn/@chrisfang/llamafactory-test swanlab: 🚀 View run at https://swanlab.cn/@chrisfang/llamafactory-test/runs/up1xn9h4tc0ynh9sfnogq File "/root/miniconda3/bin/llamafactory-cli", line 8, in <module> sys.exit(main()) ^^^^^^ File "/root/autodl-tmp/ai/LLaMA-Factory/src/llamafactory/cli.py", line 112, in main run_exp() File "/root/autodl-tmp/ai/LLaMA-Factory/src/llamafactory/train/tuner.py", line 93, in run_exp _training_function(config={"args": args, "callbacks": callbacks}) File "/root/autodl-tmp/ai/LLaMA-Factory/src/llamafactory/train/tuner.py", line 67, in _training_function run_sft(model_args, data_args, training_args, finetuning_args, generating_args, callbacks) File "/root/autodl-tmp/ai/LLaMA-Factory/src/llamafactory/train/sft/workflow.py", line 102, in run_sft train_result = trainer.train(resume_from_checkpoint=training_args.resume_from_checkpoint) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/miniconda3/lib/python3.12/site-packages/transformers/trainer.py", line 2241, in train return inner_training_loop( ^^^^^^^^^^^^^^^^^^^^ File "<string>", line 329, in _fast_inner_training_loop File "<string>", line 31, in _unsloth_training_step File "/root/miniconda3/lib/python3.12/site-packages/unsloth/models/_utils.py", line 1077, in _unsloth_pre_compute_loss return self._old_compute_loss(model, inputs, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/miniconda3/lib/python3.12/site-packages/transformers/trainer.py", line 3759, in compute_loss outputs = model(**inputs) ^^^^^^^^^^^^^^^ 但是我的数据集最大长度也才6000多

03-08

- 当前模型的最大序列长度（max sequence length）为8192 tokens - 系统会自动执行截断操作（truncate） 2. **矛盾点解释**：虽然你提到数据集最大长度才6000+，但实际出现8200长度的输入可能由以下原因导致： - *...

本文将对BERT进行系统的回顾，探索其技术内在机理，并通过实践案例引出一些新的研究方向 BERT Explained: State of the Art Language Model for NLP

AI天才研究院

08-20

1100

BERT (Bidirectional Encoder Representations from Transformers)是近年来最火的预训练语言模型之一。它的出现使得深度学习在NLP领域取得了前所未有的突破性进展，特别是在文本分类、阅读理解等任务上。本文将对BERT进行系统的回顾，探索其技术内在机理，并通过实践案例引出一些新的研究方向。希望读者能从中受益。

huggingface padding=True 训练阶段报错：expected sequence of length 24 at dim 1 (got 20)

_Hope_

05-27

是seq2seq任务报错的,的tokenize还是。

import tensorflow as tf import tensorflow_hub as hub from tensorflow.keras import layers import bert import numpy as np from transformers import BertTokenizer, BertModel # 设置BERT模型的路径和参数 bert_path = "E:\\AAA\\523\\BERT-pytorch-master\\bert1.ckpt" max_seq_length = 128 train_batch_size = 32 learning_rate = 2e-5 num_train_epochs = 3 # 加载BERT模型 def create_model(): input_word_ids = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_word_ids") input_mask = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_mask") segment_ids = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="segment_ids") bert_layer = hub.KerasLayer(bert_path, trainable=True) pooled_output, sequence_output = bert_layer([input_word_ids, input_mask, segment_ids]) output = layers.Dense(1, activation='sigmoid')(pooled_output) model = tf.keras.models.Model(inputs=[input_word_ids, input_mask, segment_ids], outputs=output) return model # 准备数据 def create_input_data(sentences, labels): tokenizer = bert.tokenization.FullTokenizer(vocab_file=bert_path + "trainer/vocab.small", do_lower_case=True) # tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') input_ids = [] input_masks = [] segment_ids = [] for sentence in sentences: tokens = tokenizer.tokenize(sentence) tokens = ["[CLS]"] + tokens + ["[SEP]"] input_id = tokenizer.convert_tokens_to_ids(tokens) input_mask = [1] * len(input_id) segment_id = [0] * len(input_id) padding_length = max_seq_length - len(input_id) input_id += [0] * padding_length input_mask += [0] * padding_length segment_id += [0] * padding_length input_ids.append(input_id) input_masks.append(input_mask) segment_ids.append(segment_id) return np.array(input_ids), np.array(input_masks), np.array(segment_ids), np.array(labels) # 加载训练数据 train_sentences = ["Example sentence 1", "Example sentence 2", ...] train_labels = [0, 1, ...] train_input_ids, train_input_masks, train_segment_ids, train_labels = create_input_data(train_sentences, train_labels) # 构建模型 model = create_model() model.compile(optimizer=tf.keras.optimizers.Adam(lr=learning_rate), loss='binary_crossentropy', metrics=['accuracy']) # 开始微调 model.fit([train_input_ids, train_input_masks, train_segment_ids], train_labels, batch_size=train_batch_size, epochs=num_train_epochs)这段代码有什么问题吗？

05-24

input_word_ids = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_word_ids") input_mask = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_mask")...

batch_size, seq_length = input_shape ValueError: not enough values to unpack (expected 2, got 1)

Ang_Quantum的博客

11-23

4180

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

[实验记录]You should supply an encoding or a list of encodings to this method that includes input_ids

m0_52911108的博客

10-25

1293

但是上面的方法需要的是四个字段（已经用红框框起来了）：['inputs', 'kwargs', 'label', 'label_ids']，由于给定的features里面不包含这四个字段中的任意一个，因此所有数据列都被删除了，得到的是空features。接下来就是报错然后退出debug了，我的思路就是，在上面删除的时候，我直接给它注释掉，不进行删除操作，不搭理signature_columns = ['inputs', 'kwargs', 'label', 'label_ids']这个参数。

模型微调之process_func

ruleng8662的博客

12-26

552

用于微调指令跟随模型（Instruction-Following Models），如 InstructGPT。定义了输入序列的最大长度（这里是 256）。如果输入长度超出这个值，会进行截断，确保符合模型的输入限制。如 OpenAI 的 GPT 系列、ChatGPT、LLaMA 等模型。特别适用于基于对话的训练数据集。包括对话生成、问答系统、文本摘要等。可以根据模型的最大长度动态设置。以字典形式返回处理后的。

Input length of input_ids is 3572, but max_length is set to 2000. This can lead to unexpected behavi

liuhongyue的博客

12-14

3518

无法对问题做出回答，因此memory选择对话缓存窗口储存，对话缓存窗口储存是通过ConversationBufferWindowMemory来实现交互的滑动窗口，窗口数k，例如设置k=1，表示只保留一个对话记忆。这样保证memory不会无线增大，memory的内容会作为prompt的内容所以导致token数会增加，超过指定数值无法进行回答，就像问的问题如果太长，比如超过10万字，超过LLM的最大token，无法进行回答一样。如果问的问题过多，产生的memory会越来越多，导致token数超过定义的数值，

多模态大语言模型arxiv论文略读（九十八）

Jamence的博客

05-29

1011

➡️ 研究动机：为了提高多模态情感识别的准确性和细致度，研究团队提出了MicroEmo，一个时间敏感的MLLM，旨在关注面部微表情的时间动态和话语感知视频片段的上下文依赖性。4) 通过微调LLMs的少量参数来选择最终的实体。该方法通过动态聚合模态特定和模态无关的LoRA专家，部分解耦多模态生成空间，从而在不显著增加参数的情况下，提升模型的多模态生成能力。➡️ 问题背景：当前的多模态生成模型在视觉文本理解与生成任务中表现出色，但同时生成图像和文本时，由于视觉和语言模态之间的固有不一致性，通常会导致性能下降。

大语言模型(LLM)入门 - (1) 相关概念