中文文本分类项目使用教程

中文文本分类项目使用教程

1. 项目的目录结构及介绍

Chinese-Text-Classification/
├── data/
│   ├── __init__.py
│   ├── data_loader.py
│   └── ...
├── models/
│   ├── __init__.py
│   ├── text_cnn.py
│   └── ...
├── utils/
│   ├── __init__.py
│   ├── metrics.py
│   └── ...
├── config.py
├── main.py
├── README.md
└── ...

• data/: 存放数据处理相关的文件，如数据加载器等。
• models/: 存放模型定义文件，如TextCNN等。
• utils/: 存放工具函数和辅助类。
• config.py: 配置文件，包含项目运行所需的参数设置。
• main.py: 项目的主启动文件。
• README.md: 项目说明文档。

2. 项目的启动文件介绍

main.py 是项目的启动文件，负责初始化配置、加载数据、训练模型等核心功能。以下是 main.py 的主要功能模块：

import argparse
from config import Config
from data.data_loader import DataLoader
from models.text_cnn import TextCNN

def main():
    parser = argparse.ArgumentParser(description='Chinese Text Classification')
    parser.add_argument('--config', type=str, default='config.json', help='path to config file')
    args = parser.parse_args()

    config = Config(args.config)
    data_loader = DataLoader(config)
    model = TextCNN(config)

    # 训练模型
    model.train(data_loader)

if __name__ == '__main__':
    main()

• argparse: 解析命令行参数。
• Config: 从配置文件中读取参数。
• DataLoader: 加载和预处理数据。
• TextCNN: 定义和训练模型。

3. 项目的配置文件介绍

config.py 是项目的配置文件，包含了模型训练和评估所需的各种参数。以下是 config.py 的主要内容：

class Config:
    def __init__(self, config_file):
        self.learning_rate = 0.001
        self.batch_size = 64
        self.num_epochs = 10
        self.embedding_dim = 100
        self.num_filters = 128
        self.kernel_sizes = [3, 4, 5]
        self.dropout = 0.5
        self.data_path = 'data/train.txt'
        self.vocab_path = 'data/vocab.pkl'
        self.save_path = 'checkpoints/best_model.pt'
        self.load_config(config_file)

    def load_config(self, config_file):
        # 从JSON文件中加载配置
        with open(config_file, 'r') as f:
            config = json.load(f)
            for key, value in config.items():
                setattr(self, key, value)

• learning_rate: 学习率。
• batch_size: 批处理大小。
• num_epochs: 训练轮数。
• embedding_dim: 词嵌入维度。
• num_filters: 卷积核数量。
• kernel_sizes: 卷积核大小。
• dropout: Dropout比率。
• data_path: 数据路径。
• vocab_path: 词汇表路径。
• save_path: 模型保存路径。

通过以上配置，可以灵活调整模型的训练参数，以适应不同的数据集和任务需求。