weixin_46481662的博客

这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。

Transformer 4.43.40 版本支持的模型目录涵盖了自然语言处理领域的众多任务和应用，从文本分类到机器翻译，从命名实体识别到情感分析，以及许多其他领域。Transformer 4.43.40 版本是自然语言处理领域的一个重要工具包，为开发者提供了丰富的预训练模型资源，可以用于各种文本处理任务。下面是一个 Transformer 4.43.40 版本所支持的所有模型的目录，让您能够更好地了解这一工具包的功能和用途。

在尝试将模型文件从 [Hugging Face Model Hub](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) 下载到本地并使用 `from_pretrained` 方法加载本地磁盘上的分词器时，遇到了一个错误。

huggingface_hub库提供了从存储在Hub上的仓库中下载文件的功能。您可以独立使用这些函数或将它们集成到您自己的库中，使您的用户更方便地与Hub交互。

一个指向包含分词器所需词汇文件的目录的路径，例如使用 :func:`~transformers.PreTrainedTokenizer.save_pretrained` 方法保存的目录，例如：``./my_model_directory/``。- （不适用于所有派生类，已弃用）仅当分词器仅需要单个词汇文件（例如Bert，XLNet）时，才适用于指向单个保存的词汇文件的路径或URL，例如：``./my_model_directory/vocab.txt``。

由于存在许多不同的Transformer架构，因此为您的检查点（checkpoint）创建一个可能很具有挑战性。作为🤗Transformers核心理念的一部分，使库易于使用、简单和灵活，AutoClass自动推断并从给定的检查点加载正确的架构。from_pretrained()】方法允许您快速加载任何架构的预训练模型生产此类检查点不可知代码意味着，如果您的代码适用于一个检查点，则它将适用于另一个检查点——只要它是为类似的任务进行训练的，即使架构不同。