LSTM文本分类（一）

最新推荐文章于 2025-04-01 00:35:25 发布

原创

最新推荐文章于 2025-04-01 00:35:25 发布 · 1w 阅读

24 ·

CC 4.0 BY-SA版权

本文介绍了使用LSTM进行文本分类的过程，包括训练数据的整理，如将文本转化为词向量和类别表示，以及模型构建，详细讲解了LSTM网络的搭建，包括word_embedding、dropout、LSTM层以及softmax层的设置，最终通过优化方法和损失函数计算准确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LSTM文本分类(一)

工作中遇到了意图识别的分类问题，趁机从头开始学习了一下LSTM的结构以及代码编写，踩坑无数后终于成功的调通第一版深度学习代码。代码运用了tensorflow中的各种接口，相关的api请点这里

1、训练数据的整理

我用的是query分词后term的索引id组成的query词向量

比如 “北京欢迎你”这个query，分词后为 北京_欢迎_你，对应的索引值为[1,5,7]，即为一条训练数据。
由于这次分类任务只是简单的二分类，所以每一条数据都用一个二维向量表示它所在的类别，例如[1,0]

故，训练数据的shape和样例如下：
train_data的维度为[sample_size, max_len]
train_label的维度为[sample_size, class_num]
(max_len为query最大长度，class_num为类别个数，为了保持每条数据的长度都是max_len，需要进行0填充)

2、模型的构建

在最开始，将神经网络的参数导入到model中，如下：

# initialize parameters
self.keep_prob = config.keep_prob   #dropout参数
self.num_step = config.num_step     #query最大长度
self.class_num = config.class_num