AI实战：搭建带注意力机制的 seq2seq 模型来做数值预测

AI实战：搭建带注意力机制的 seq2seq 模型来做数值预测

seq2seq 框架图

环境依赖

• Linux
• python3.6
• tensorflow.keras

源码搭建模型及说明

• 依赖库

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import backend as K
from tensorflow.keras import activations
from tensorflow.keras.layers import Layer, Input, Embedding, LSTM, Dense, Attention, GRU, Dropout
from tensorflow.keras.models import Model
import numpy as np

• 编码
  使用GRU作为特征提取器（针对数据量相对较少的情况，若是数据量很大，建议使用LSTM）

class Encoder(keras.Model):
    def __init__(self, hidden_units):

        super(Encoder, self).__init__()
        # Encode LSTM Layer
        self.encoder_lstm = GRU(hidden_units, return_sequences=True, return_state=True, name="encode_lstm")
        self.dropout = Dropout(rate=0.5)
        
    def call(self, inputs):

        encoder_outputs, state_h = self.encoder_lstm(inputs)
        return encoder_outputs, state_h

• 解码
  解码结构中添加了注意力机制

class Decoder(keras.Model):
    def __init__(self, hidde