SpERT源码阅读 #on-working#

feiba54

已于 2022-01-23 10:56:16 修改

阅读量1.2k

点赞数 3

分类专栏：自然语言处理文章标签： pytorch 深度学习 python

于 2021-05-21 09:49:36 首次发布

本文链接：https://blog.youkuaiyun.com/qq_39540454/article/details/116457277

版权

本文介绍了SpERT模型的训练过程，从程序入口开始，详细阐述了数据读取、模型构建、模型加载、优化器与scheduler设定、损失函数定义、模型训练及保存。重点解析了SpERTTrainer类，包括其各个核心函数的功能，如读数据、建模、训练与保存。同时，提到了NLP中的mini-batch和mask技术的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目重要文件的目录树如下：

spert
│  args.py           # 各种参数的设置
│  config_reader.py  # 读取并处理config文件
│  spert.py          # 程序入口
│  __init__.py       # 空文件，用于构成package
├─bert-base-chinese
│      bert_config.json
│      config.json
│      pytorch_model.bin
│      vocab.txt
├─configs            # config文件
│      example_eval.conf
│      example_predict.conf
│      example_train.conf
├─data               # 数据集（已处理好格式）
│  ├─datasets
│  │  ├─ade
│  │  ├─conll04
│  │  └─scierc
│  ├─log
│  └─save
└─spert
      entities.py
      evaluator.py
      input_reader.py     # 读取输入，定义BaseInputReader和JsonInputReader类
      loss.py             # 定义SpERTLoss类，类函数compute()计算模型loss
      models.py           # 定义SpERT类（继承transformers库中的BertPreTrainedModel类）
      opt.py              # optional
      prediction.py
      sampling.py         # 生成正负样本
      spert_trainer.py    # 定义SpERTTrainer类（继承BaseTrainer类）
      trainer.py          # 定义BaseTrainer类
      util.py             # 各种小函数
      __init__.py

1.程序入口

训练模型使用如下命令：

python ./spert.py train --config configs/example_train.conf

故程序的入口是spert.py：

if __name__ == '__main__':
    arg_parser = argparse.ArgumentParser(add_help=False)
    arg_

最低0.47元/天解锁文章