本文主要包括如下内容:
1.Hugging Face是什么,提供了哪些内容
2.Hugging Face模型的使用(Transformer类库)
3.Hugging Face数据集的使用(Datasets类库)
HuggingFace简介
和 Github 类似,都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。Hugging Face为用户提供了以下主要功能:
:Git仓库可以让你管理代码版本、开源代码。而模型仓库可以让你管理模型版本、开源模型等。使用方式与Github类似。- :Hugging Face为不同的机器学习任务提供了许多供大家使用,这些模型就存储在模型仓库中。
:Hugging Face上有许多公开数据集。 hugging face在NLP领域最出名,其提供的模型大多都是基于Transformer的。为了易用性,Hugging Face还为用户提供了以下几个项目:
Transformers(, ): Transformers提供了上千个预训练好的模型可以用于不同的任务,例如文本领域、音频领域和CV领域。该项目是HuggingFace的核心,可以说学习HuggingFace就是在学习该项目如何使用。
Datasets(, ): 一个轻量级的数据集框架,主要有两个功能:①一行代码下载和预处理常用的公开数据集; ② 快速、易用的数据预处理类库。
Accelerate(, ): 帮助Pytorch用户很方便的实现 multi-GPU/TPU/fp16。
Space():Space提供了许多好玩的深度学习应用,可以尝试玩一下。
Hugging Face模型讲解
Transforms简介
Hugging Face Transformer是Hugging Face最核心的项目,你可以用它做以下事情:
直接使用预训练模型进行推理- 提供了大量预训练模型可供使用- 使用预训练模型进行迁移学习
Transformers安装
安装Transformers非常简单,直接安装即可。
1 pip install transformers
2
使用Transformers进行推理
如果你的任务是一个比较常见的,大概率可以直接使用Transformer提供的API解决,其使用方式非常简单,可以说是直接用即可。

对于部分特定任务,官方并没有提供相应的模型,但你也可以到,然后显示指定即可。在加载模型时,你有可能会因为缺少一些库而报错,这个时候,只需要安装对应的库,然后重启即可。

更多Pipeline请参考:https://huggingface.co/docs/transformers/v4.21.0/en/main_classes/pipelines
查找Hugging Face模型
本节来介绍一下如何通过Hugging Face找到你需要的模型。
首先,我们需要到来到官网的。之后我们会看到如下界面:

其主要包含

最低0.47元/天 解锁文章
8万+

被折叠的 条评论
为什么被折叠?



