YOSO-ai 项目使用教程

YOSO-ai 项目使用教程

1. 项目的目录结构及介绍

YOSO-ai/
├── data/
│   ├── processed/
│   └── raw/
├── models/
│   ├── __init__.py
│   └── yoso_model.py
├── notebooks/
│   └── exploration.ipynb
├── scripts/
│   ├── train.py
│   └── evaluate.py
├── tests/
│   ├── __init__.py
│   └── test_model.py
├── .gitignore
├── README.md
├── requirements.txt
└── setup.py

目录结构介绍

• data/: 存放项目的数据文件，包括原始数据和处理后的数据。
  • processed/: 存放处理后的数据文件。
  • raw/: 存放原始数据文件。
• models/: 存放模型的定义和实现。
  • __init__.py: 初始化文件。
  • yoso_model.py: YOSO 模型的实现。
• notebooks/: 存放 Jupyter Notebook 文件，用于数据探索和实验。
  • exploration.ipynb: 数据探索 Notebook。
• scripts/: 存放训练和评估脚本。
  • train.py: 训练模型的脚本。
  • evaluate.py: 评估模型的脚本。
• tests/: 存放测试文件。
  • __init__.py: 初始化文件。
  • test_model.py: 测试模型的脚本。
• .gitignore: Git 忽略文件配置。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖包列表。
• setup.py: 项目安装脚本。

2. 项目的启动文件介绍

启动文件

• scripts/train.py: 该文件是项目的启动文件，用于训练 YOSO 模型。

使用方法

python scripts/train.py --config config.yaml

参数说明

• --config: 指定配置文件路径，默认为 config.yaml。

3. 项目的配置文件介绍

配置文件

• config.yaml: 该文件是项目的配置文件，用于配置模型训练的参数。

配置文件内容

model:
  vocab_size: 50265
  hidden_size: 768
  num_hidden_layers: 12
  num_attention_heads: 12
  intermediate_size: 3072
  hidden_act: 'gelu'
  hidden_dropout_prob: 0.1
  attention_probs_dropout_prob: 0.1
  max_position_embeddings: 4096
  type_vocab_size: 1
  initializer_range: 0.02
  layer_norm_eps: 1e-12
  position_embedding_type: 'absolute'
  use_expectation: True
  hash_code_len: 9
  num_hash: 64
  conv_window: None
  use_fast_hash: True
  lsh_backward: True
  pad_token_id: 1
  bos_token_id: 0
  eos_token_id: 2

training:
  batch_size: 32
  learning_rate: 2e-5
  epochs: 10
  save_steps: 1000
  output_dir: 'checkpoints/'

配置项说明

• model: 模型参数配置。
  • vocab_size: 词汇表大小。
  • hidden_size: 隐藏层大小。
  • num_hidden_layers: 隐藏层数量。
  • num_attention_heads: 注意力头数量。
  • intermediate_size: 中间层大小。
  • hidden_act: 隐藏层激活函数。
  • hidden_dropout_prob: 隐藏层 dropout 概率。
  • attention_probs_dropout_prob: 注意力概率 dropout 概率。
  • max_position_embeddings: 最大位置嵌入数量。
  • `type_vocab