Simple Transformers 安装与使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00630/article/details/141151771

Simple Transformers 安装与使用指南

项目地址:https://gitcode.com/gh_mirrors/si/simpletransformers

目录结构及介绍

当您克隆或下载simpletransformers库时, 您将看到以下主要目录和文件:

examples/: 此目录包含了使用 Simple Transformers 的示例脚本. 每个例子都对应一个特定的 NLP 任务.
simpletransformers/: 这是核心库所在的位置. 包括所有用于模型训练和评估的功能性代码以及预先定义的模型类.
tests/: 包含了单元测试以验证库中函数和类的行为是否正确.
all-contributorsrc: 确定如何贡献者被列出在贡献者列表中的规则.
gitignore: 过滤掉不需要进行版本控制的文件和目录.
CHANGELOG.md: 记录了项目的重大更新和变化.
LICENSE: 表明该项目采用的是Apache软件许可.
Makefile: 提供了一系列预定义的命令来帮助自动化编译和安装过程.
README.md: 主要的读我文件, 含有项目的简介、安装说明等关键信息.
requirements-dev.txt: 开发阶段所需的额外依赖项清单.
setup.cfg: 配置 setuptools 以支持安装和打包库.
setup.py: Python 包的主要元数据, 被用于创建源代码或二进制包.
train.txt: 示例数据文件.

项目启动文件介绍

虽然simpletransformers不完全具备单一的"启动"文件, 使用此库通常涉及调用一个主要脚本来执行训练或预测任务. 在examples/目录下, 比如你可以找到这样的示例脚本:

run_classification.py: 使用序列分类任务的例子.
run_squad.py: 针对SQuAD数据集的问题解答示例.

这些脚本可以作为基本模板来调整您的实际应用. 只需替换参数和数据位置即可运行.

例如, 若要运行文本分类任务, 您可能会修改并运行examples/run_classification.py:

from simpletransformers.classification import ClassificationModel

model = ClassificationModel("bert", "bert-base-cased")
model.train_model(train_df)
predictions, raw_outputs = model.predict(test_df)

项目配置文件介绍

simpletransformers并没有专门的全局配置文件, 因而其配置都是通过脚本参数和模型初始化参数来完成的. 如在脚本中初始化一个模型时, 您可以通过传递一个字典给args参数来指定配置选项. 这些选项包括但不限于:

reprocess_input_data: 是否重新处理输入数据.
overwrite_output_dir: 输出目录是否存在的情况下是否覆盖.
num_train_epochs: 模型应该进行多少轮训练.
learning_rate: 学习率, 控制权重更新的速度.

例如, 在我们的文本分类实例中, 我们可能添加自定义参数如下:

model_args = {
    "reprocess_input_data": True,
    "overwrite_output_dir": True,
    "num_train_epochs": 3,
    "learning_rate": 1e-5
}

model = ClassificationModel("bert", "bert-base-cased", args=model_args)

通过这种方式, 您可以轻松地定制Simple Transformers以适应特定需求而不必编辑底层代码.

simpletransformers Transformers for Classification, NER, QA, Language Modelling, Language Generation, T5, Multi-Modal, and Conversational AI 项目地址: https://gitcode.com/gh_mirrors/si/simpletransformers