LSTM实战《短信文本分类》

原创

已于 2023-02-17 16:31:15 修改 · 477 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#lstm #分类 #深度学习

于 2023-02-17 16:07:13 首次发布

什么是LSTM?

LSTM（Long Short-Term Memory，长短时记忆网络）是一种常用的循环神经网络（Recurrent Neural Network，RNN）架构，它被设计用于处理序列数据，并且在许多自然语言处理和语音识别等领域中被广泛应用。

LSTM 的关键思想是引入了记忆单元（Memory Cell）和门（Gates）的概念，以实现更好的长期依赖性建模和控制信息流的能力。LSTM 的记忆单元可以存储和读取信息，并且通过门来控制哪些信息可以进入和离开记忆单元。这些门由一些可训练的神经网络单元组成，包括遗忘门（Forget Gate）、输入门（Input Gate）和输出门（Output Gate）。遗忘门决定了何时从记忆单元中删除信息，输入门决定何时向记忆单元添加新信息，输出门决定何时从记忆单元中读取信息输出。

LSTM 的基本单元包括一个记忆单元和三个门，具体包括以下几个部分：

输入门：根据当前的输入和上一时刻的输出，决定哪些信息需要存储到记忆单元中。
遗忘门：决定从记忆单元中删除哪些信息。
输出门：决定从记忆单元中读取哪些信息输出。
记忆单元：保存长期记忆信息。

LSTM 可以通过堆叠多个 LSTM 单元来构建更深层次的神经网络，用于处理更复杂的序列建模任务。LSTM 在自然语言处理、语音识别、视频分析、时间序列预测等领域中取得了很好的效果，并且已经成为很多应用的核心技术之一。

使用LSTM完成一个短信文本分类

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_seq