hugging face transformer文本分类运行

最新推荐文章于 2025-03-20 22:11:39 发布

qq_34184324

最新推荐文章于 2025-03-20 22:11:39 发布

阅读量4.5k

点赞数 1

分类专栏： NLP 文章标签：文本分类 Bert Transformer NLP

本文链接：https://blog.youkuaiyun.com/qq_34184324/article/details/103895382

版权

这篇博客介绍了如何运行Hugging Face的Transformers库进行文本分类任务，特别是distilroberta、distilbert和albert模型。首先从GitHub克隆或下载transformers库，然后在examples目录下修改run_glue.py，将代码封装成main函数，并设置默认参数。接着配置数据目录、训练批次大小和轮数，定义模型路径，并使用预定义的processor如RTE。运行时需要下载GLUE数据集，通过运行相关脚本完成整个流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hugging face 团队的transformer又更新了，现在里面有distilroberta和distilbert和albert模型，这三个模型值得我们对比其他模型的差异。那么如何运行呢？

首先进入GitHub，搜索transformer

https://github.com/huggingface/transformers

进入这个repo

git clone 或者下载下来

接着用pycharm或其他编辑器打开这个repo

https://github.com/huggingface/transformers/tree/master/examples

选择examples里的run_gule.py

找到最下面的__main__,把所有代码剪切出来单独封装一个函数为main（），参数有两个model和dataset。

dataset是数据集的名字也是数据所在文件夹名称，model是model type。在这里，最重要的是命令行的argument，由于我们不想用命令行输入参数，这里可以在parser.add_argument中加入参数default，并设置required为False，这样就有了一个默认值。

接着我们设置data dir和训练batch大小和epoch次数。

def main(model,task):

    parser = argparse.ArgumentParser()
    model_dir = model_to_dir[model]
    ## Required parameters
    data_dir = '/home/socialbird/Downloads/transformers-master/examples/glue_data/{}'.format(task)
    #task = 'RTE'
    train_bs = 8
    eps = 3.0
    parser.add_argument("--data_dir", default=data_dir, type=str, required=False,
                        help="The input data dir. Should contain the .tsv files (or other data files) for the task.")
    parser.add_argument("--model_type", default=model, type=str, required=False,
                        help="Model type selected in the list: " + ", ".join(MODEL_CLASSES.keys()))
    parser.add_argument("--model_name_or_path", default=model_dir, type=str, required=False,
                        help="Path to pre-trained model or shortcut name selecte

最低0.47元/天解锁文章