transforms存储、加载tokenizer

酷暑冷冰

于 2021-10-05 15:49:37 发布

阅读量467

点赞数

文章标签： python html 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_43913077/article/details/120614764

版权

本文介绍了如何使用Python代码存储和加载tokenizer。通过调用`tokenizer.save_pretrained()`方法可以将tokenizer保存到本地，之后利用`BertTokenizerFast.from_pretrained()`可以从存储的位置加载tokenizer，确保模型的持久化和复用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tokenizer.save_pretrained('tokenizer') # 存储
tokenizer = BertTokenizerFast.from_pretrained('tokenizer') # 加载，BertTokenizerFast替换成对应的tokenizer