lstm的简单实现

本文详细介绍了长短期记忆网络(LSTM)的实现过程,包括输入门、输出门和遗忘门的运作机制,以及如何使用LSTM进行前向传播和反向传播。通过具体的代码示例,展示了权重初始化、激活函数应用、状态更新等关键步骤。

使用模型

LSTM的结构有很多种形式,但是都大同小异,主要都包含输入门、输出门、遗忘门。

使用模型如上图所示

部分代码

​
//
//  MLLstm.m
//  LSTM
//

//

#import "MLLstm.h"

@implementation MLLstm

#pragma mark - Inner Method

+ (double)truncated_normal:(double)mean dev:(double)stddev
{
    double outP = 0.0;
    do {
        static int hasSpare = 0;
        static double spare;
        if (hasSpare) {
            hasSpare = 0;
            outP = mean + stddev * spare;
            continue;
        }
        
        hasSpare = 1;
        static double u,v,s;
        do {
            u = (rand() / ((double) RAND_MAX)) * 2.0 - 1.0;
            v = (rand() / ((double) RAND_MAX)) * 2.0 - 1.0;
            s = u * u + v * v;
        } while ((s >= 1.0) || (s == 0.0));
        s = sqrt(-2.0 * log(s) / s);
        spare = v * s;
        outP = mean + stddev * u * s;
    } while (fabsl(outP) > 2*stddev);
    return outP;
}

+ (double *)fillVector:(double)num size:(int)size
{
    double *outP = malloc(sizeof(double) * size);
    vDSP_vfillD(&num, outP, 1, size);
    return outP;
    
}

+ (double *)weight_init:(int)size
{
    double *outP = malloc(sizeof(double) * size);
    for (int i = 0; i < size; i++) {
        outP[i] = [MLLstm truncated_normal:0 dev:0.1];
    }
    return outP;
}

+ (double *)bias_init:(int)size
{
    return [MLLstm fillVector:0.1f size:size];
}

+ (double *)tanh:(double *)input size:(int)size
{
    for (int i = 0; i < size; i++) {
        double num = input[i];
        if (num > 20) {
            input[i] = 1;
        }
        else if (num < -20)
        {
            input[i] = -1;
        }
        else
        {
            input[i] = (exp(num) - exp(-num)) / (exp(num) + exp(-num));
        }
    }
    return input;
}

+ (double *)sigmoid:(double *)input size:(int)size
{
    for (int i = 0; i < size; i++) {
        double num = input[i];
        if (num > 20) {
            input[i] = 1;
        }
        else if (num < -20)
        {
            input[i] = 0;
        }
        else
        {
            input[i] = exp(num) / (exp(num) + 1);
        }
    }
    return input;
}

#pragma mark - Init

- (id)initWithNodeNum:(int)num layerSize:(int)size dataDim:(int)dim
{
    self = [super init];
    if (self) {
        _nodeNum = num;
        _layerSize = size;
        _dataDim = dim;
        [self setupNet];
    }
    return self;
}

- (id)init
{
    self = [super init];
    if (self) {
        [self setupNet];
    }
    return self;
}

- (void)setupNet
{
    _hState = calloc(_layerSize * _nodeNum, sizeof(double));
    _rState = calloc(_layerSize * _nodeNum, sizeof(double));
    _zState 
LSTM代码实现方式有多种,以下为你介绍不同框架下的实现示例: ### Keras框架 在Keras中实现LSTM可用于时间序列预测,示例代码如下: ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dropout, Dense # 假设train_X和train_y是训练数据,test_X和test_y是测试数据 # 初始化LSTM模型,设置神经元核心的个数,迭代次数,优化器等等 model = Sequential() model.add(LSTM(27, input_shape=(train_X.shape[1], train_X.shape[2]))) model.add(Dropout(0.5)) model.add(Dense(15, activation='relu')) # 激活函数 model.compile(loss='mae', optimizer='adam') history = model.fit(train_X, train_y, epochs=95, batch_size=2, validation_data=(test_X, test_y), verbose=2, shuffle=False) ``` 此代码中,首先初始化了一个序贯模型,添加LSTM层,接着添加Dropout层防止过拟合,再添加一个全连接层,最后编译模型并进行训练 [^3]。 ### TensorFlow框架 在TensorFlow实现简单LSTM代码示例如下: ```python import tensorflow as tf _X = ... # 输入数据 hidden_size = ... # 隐藏层大小 keep_prob = ... # Dropout保留概率 X = tf.reshape(_X, [-1, 28, 28]) def unit_lstm(): # 定义一层LSTM_CELL,hiddensize会自动匹配输入的X的维度 lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True) # 添加dropout layer,一般只设置output_keep_prob lstm_cell = tf.nn.rnn_cell.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob) return lstm_cell # 调用MultiRNNCell来实现多层LSTM ``` 此代码中,先对输入数据进行形状重塑,定义了一个创建单层LSTM单元的函数,并且在其中添加了Dropout层,最后可调用`MultiRNNCell`实现多层LSTM [^4]。 ### 完整实现步骤代码结构示例 一个更完整的LSTM代码实现可能包含初始化、前向传播、反向传播等步骤,整体结构如下: 1. **LSTM结构整理**:了解LSTM单元的工作机制,包括门控机制(遗忘门、输入门、输出门)对细胞状态和隐藏状态的更新 [^2]。 2. **LSTM的代码实现** - **初始化和前向传播**:初始化LSTM的参数,实现前向传播过程。 - **反向传播**:根据损失函数计算梯度,更新参数。 3. **Time LSTM层的实现** - **Time LSTM层的结构**:理解Time LSTM层的特点。 - **Time LSTM层的代码实现** - **初始化**:初始化Time LSTM层的参数。 - **前向传播**:实现Time LSTM层的前向传播。 - **反向传播**:实现Time LSTM层的反向传播。 4. **使用LSTM对语言模型建模** - **初始化**:初始化语言模型的参数。 - **前向计算**:进行前向计算得到预测结果。 - **反向传播**:根据损失更新参数。 - **其他**:如模型评估等。 5. **在PTB数据集上进行训练和测试**:使用PTB数据集对模型进行训练和测试 [^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值