文本分类(二)
Github优秀文本分类项目解析(基于深度学习方法)。
CoreJT
中科院自动化所在读直博生,感兴趣的研究方向:文本分类、情感分析、机器阅读理解与问答系统以及对话系统。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
文本分类(二) | (5) 训练、验证以及测试
完整项目 最后,介绍一下模型的训练、验证以及测试流程。 目录 1. 训练 2. 验证 3. 测试 1. 训练 def train(config, model, train_iter, dev_iter, test_iter): start_time = time.time() model.train() #训练模式 optimizer = to...原创 2020-01-28 17:22:44 · 2716 阅读 · 1 评论 -
文本分类(二) | (4) 模型及其配置的定义
完整项目 本篇博客,主要介绍各个模型的模块定义,包括模型本身的定义以及模型对应的配置(超参数)的定义,二者在一个模块文件中。 目录 1. FastText 2. TextCNN 3. TextRNN 4. TextRCNN 5. TextRNN_Atten 6. DPCNN 7. Transformer 1. FastText 配置类 class Config...原创 2020-01-28 17:08:37 · 3695 阅读 · 0 评论 -
文本分类(二) | (3) 数据预处理
完整项目 本篇博客主要介绍一下数据预处理,包括构建词典/字典,构建数据集和迭代器以及使用预训练词/字向量对词/字嵌入矩阵进行初始化。 目录 1. 构建词/字典 2. 构建数据集和迭代器 3. 初始化词/字嵌入矩阵 4.构建数据集和迭代器(FastText) 1. 构建词/字典 def build_vocab(file_path, tokenizer, max_si...原创 2020-01-28 15:09:23 · 7636 阅读 · 10 评论 -
文本分类(二) | (2) 程序入口
完整项目 run.py是整个项目的入口,它包含两部分,一是使用argparse工具,配置相关参数;二是整个项目的流程框架,各个模块/函数的调用。 目录 1. 参数配置 2. 项目流程 1. 参数配置 #声明argparse对象 可附加说明 parser = argparse.ArgumentParser(description='Chinese Text Classification...原创 2020-01-28 13:48:08 · 4274 阅读 · 7 评论 -
文本分类(二) | (1) 项目介绍
完整项目 文本分类(二)专栏主要是对Github优秀文本分类项目的解析,该文本分类项目,主要基于深度学习模型,包括TextCNN、TextRNN、FastText、TextRCNN、BiLSTM_Attention、DPCNN、Transformer,使用PyTorch实现。 目录 1. 项目特点 2. 数据集 3. 项目组织结构 4. 使用方式 1. 项目特点 相比于文本分类(一...原创 2020-01-28 11:54:48 · 4692 阅读 · 14 评论
分享