micah_yaokunkun的博客

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）

我只需要记住几行模板，而后便能轻松加载各类模型和数据，不会将大把时间浪费在查看浩如烟海的API或者接口文档上。：这是最常见的使用方式，只需要提供数据集的名称即可，在能正常访问huggingface的情况下简单易行。库是Hugging Face平台的，用于轻松访问和共享用于音频、计算机视觉和自然语言处理任务的数据集的库。然而学校的服务器因某种原因，不能在代码中远程访问huggingface，因而整个程序便会卡在这行代码。它们将各式各样的模型和数据，在格式上和加载方式上实现了规范统一。最终得以过了这一关。

输出的维度是 [batch_size, sequence_length, num_labels]，其中 num_labels 是可能的标签数量。一个用于token级分类的模型，可用于命名实体识别(NER)、部分语音标记(POS)等。一个用于整个句子或段落级别的分类的模型，可用于情感分析、文本分类等。对于给定的输入，模型将为整个序列产生一个分类标签。输出的维度是 [batch_size, num_labels]，其中 num_labels 是可能的分类数量。)——包含模型所有参数的。

个人习惯用pytorch框架进行代码编写，然而很多时候在下载模型文件时，会遇到TensorFlow的模型，这是就涉及到转换的问题。在进行transformer类模型的训练或开发时，我们会在GitHub、huggingface等平台上下载已有的。④模型配置的json文件（通常是config.json）在TensorFlow中，模型文件常用.ckpt存储。在pytorch中，模型文件常用.bin存储。Transformer类的。③tokenizer文件。