TNER 项目使用教程

TNER 项目使用教程

tner Language model fine-tuning on NER with an easy interface and cross-domain evaluation. "T-NER: An All-Round Python Library for Transformer-based Named Entity Recognition, EACL 2021" 项目地址: https://gitcode.com/gh_mirrors/tn/tner

1. 项目的目录结构及介绍

tner/
├── README.md
├── setup.py
├── tner/
│   ├── __init__.py
│   ├── model.py
│   ├── trainer.py
│   ├── utils.py
│   └── config/
│       ├── default.yaml
│       └── custom.yaml
├── tests/
│   ├── test_model.py
│   └── test_trainer.py
└── examples/
    └── example_usage.py

• README.md: 项目介绍和使用说明。
• setup.py: 项目的安装脚本。
• tner/: 项目的主要代码目录。
  • init.py: 初始化文件。
  • model.py: 定义了项目的模型。
  • trainer.py: 训练模型的脚本。
  • utils.py: 工具函数。
  • config/: 配置文件目录。
    • default.yaml: 默认配置文件。
    • custom.yaml: 自定义配置文件。
• tests/: 测试代码目录。
  • test_model.py: 模型测试脚本。
  • test_trainer.py: 训练器测试脚本。
• examples/: 示例代码目录。
  • example_usage.py: 示例使用脚本。

2. 项目的启动文件介绍

项目的启动文件是 tner/trainer.py。该文件包含了训练模型的主要逻辑。用户可以通过命令行调用该文件来启动训练过程。

python -m tner.trainer --config config/default.yaml

3. 项目的配置文件介绍

项目的配置文件位于 tner/config/ 目录下，主要包括 default.yaml 和 custom.yaml。

• default.yaml: 默认配置文件，包含了项目的默认参数设置。
• custom.yaml: 用户可以自定义的配置文件，用于覆盖默认配置。

配置文件的内容示例如下：

model:
  name: "bert-base-uncased"
  batch_size: 32
  learning_rate: 2e-5

train:
  epochs: 10
  save_path: "checkpoints/"

用户可以根据需要修改这些配置文件来调整模型的训练参数。

tner Language model fine-tuning on NER with an easy interface and cross-domain evaluation. "T-NER: An All-Round Python Library for Transformer-based Named Entity Recognition, EACL 2021" 项目地址: https://gitcode.com/gh_mirrors/tn/tner