AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘

小李飞刀李寻欢

于 2023-10-08 17:46:46 发布

阅读量1.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： NLP与推荐算法文章标签：大模型微调 ChatGLM lora

本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/133300015

NLP与推荐算法专栏收录该内容

153 篇文章 ¥399.90 ¥499.90

订阅专栏

超级会员免费看

这篇博客讲述了在使用ChatGLM模型时遇到的'ChatGLMModel'对象没有'prefix_encoder'属性的错误。作者尝试了多种方法来解决问题，包括确认transformers版本、替换文件、修改配置参数、更改模型引用，但都没有成功。错误依然存在，作者分享了整个排查过程和项目的背景，涉及到微调和LORA技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网上的搜索了，都不对，不符合我的要求。

项目背景：一个基于Chatglm的大模型，有ptuning的过程，目前不清楚到底是用的1还是2，作者单独搞了个src的目录，放置一些模型的参数文件。我挨个替换成1和2的都不对，卧槽，这是咋了？

- This IS NOT expected if you are initializing ChatGLMForConditionalGeneration from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).
Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at demo/model/LexiLaw and are newly initialized: ['lm_head.weight']
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
Traceback (most recent call last):
  File "/data/g/LexiLaw/inference_ptuning.py", line 59, in <module>