tr(self, key, value)AttributeError: property ‘eos_token‘ of ‘ChatGLMTokenizer‘ object has no

最新推荐文章于 2024-10-22 15:57:49 发布

原创

最新推荐文章于 2024-10-22 15:57:49 发布 · 908 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#chatgpt

复制原模型的tokenizer_config.json文件到新模型下，覆盖新模型的这个文件

；

而后报错：

def load_model_and_tokenizer(model_dir: Union[str, Path]) -> tuple[Mode │ │ 28 │ model_dir = _resolve_path(model_dir) │ │ 29 │ if (model_dir / 'adapter_config.json').exists(): │ │ ❱ 30 │ │ model = AutoPeftModelForCausalLM.from_pretrained( │ │ 31 │ │ │ model_dir, trust_remote_code=True, device_map='auto' │ │ 32 │ │ ) │ │ 33 │ │ tokenizer_dir = model.peft_config['default'].base_model_name_or │ │ │ │ /home/dell/anaconda3/envs/llm3/lib/python3.11/site-packages/peft/auto.py:126 │ │ in from_pretrained

解决方法：

peft-0.7.1

而后又报错：

) │ │ 33 │ │ tokenizer_dir = model.peft_config['default'].base_model_name_or │ │ │ │ /home/dell/anaconda3/envs/llm3/lib/python3.11/site-packages/peft/auto.py:69 │ │ in from_pretrained │ │ │

...

│ 139 │ │ │ 140 │ @classmethod │ ╰────────────────────────────────────────────────────