AI量化交易实验室

摘要，通过本文你可以学到：传统的时间序列预测方法侧重于具有线性关系的单变量数据以及固定和手动诊断的时间依赖性。 神经网络增加了学习可能的噪声和非线性关系的能力，其中任意定义但固定数量的输入和输出支持多变量和多步预测。 递归神经网络增加了有序观察的显式处理和从上下文学习时间依赖的承诺。递归神经网络是一种神经网络，它在输入观察中添加了对顺序的显式处理。这种能力表明，递归神经网络的前...

前置课程https://machinelearningmastery.com/sequence-prediction/https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/序列预测是涉及使用历史序列信息来预测序列中的下一个或多个值的问题。序列可以是...

导读：本文是演示了一个最简单的LSTM模型的构建，以0.1~0.9序列为例，做了一个预测的小实例，文章最后我新增了一个测试集，重新使用训练的模型进行一次预测，详细代码以及注释见文末。源码地址：https://github.com/yangwohenmai/LSTM/tree/master/%E9%95%BF%E7%9F%AD%E6%9C%9F%E8%AE%B0%E5%BF%86(LS...

源码地址：https://github.com/yangwohenmai/LSTM/tree/master/%E9%95%BF%E7%9F%AD%E6%9C%9F%E8%AE%B0%E5%BF%86(LSTM)/LSTM%E7%9A%84%E6%95%B0%E6%8D%AE%E5%87%86%E5%A4%87/%E9%87%8D%E5%A1%91Keras%E4%B8%AD%E9%95%BF%...

导读：什么是热编码，原意是OneHotEncoder，OneHotEncoder就是把一些有意义的文字或符号转换成及其能读懂的语言。我们有时想对一系列有意义的数据进行处理或者预测，但这种有意义的数据不一定是数字，有可能是英文，汉字，标记，我们可以对其分类，然后用特定的数字编码（代替）他们。而不同的编码方式有着不同的表现力。源码地址：https://github.com/yangwohe...

导读：我们的很多数据是具有季节性或者趋势性的，就是随着时间越来越久，数据随着一个趋势来变化，这种内在的趋势对数据的预测有一定的影响。那么怎么来消除这个影响呢？我们可以使用差分法，差分法简单说就是在一系列数据中，相邻两个相减得到相邻两个值的变化量，我们在进行数据分析的过程中，只对差分之后的结果进行分析，也就是说我们只分析连续数据间的变化情况，而忽略了数据本身的累加形成的趋势性或者季节性。最后...

导读：在训练神经网络（例如长短期记忆复现神经网络）时，可能需要缩放序列预测问题的数据。当输入数据序列分布并不标准，或者变化幅度（标准差）过大时，这会减慢网络的学习和收敛速度，也会阻碍网络的学习效率。因此您需要了解如何归一化和标准化序列预测数据，以及如何确定将哪中形式用于输入和输出变量。您可能需要考虑两种类型的系列缩放：归一化和标准化。这些都可以使用scikit-learn库来实...

导读：这篇文章是介绍了BPTT的概念，说明了数据截断的原因和方法，即提高网络的学习效率。以及如何找到最好的截断方法，即利用网格搜索。文中都是一些概念介绍，这里直接把原文贴上来了。原文链接：https://machinelearningmastery.com/truncated-backpropagation-through-time-in-keras/正文翻译如下：递归神经网络...

导读：本文讨论分析了输入数据中，有数据缺失的情况如何处理一般有两种情况，分别是对缺失值进行替换和学习，忽略对缺失值的学习同时文章演示了对于缺失值得补全方法。文末附带两个LSTM代码，比较了两种对缺失值不同处理方式的网络模型优劣源码地址：https://github.com/yangwohenmai/LSTM/tree/master/%E9%95%BF%E7%9F%AD%E6%9C...

以下是 《长短期记忆（LSTM）系列_LSTM的数据准备》专题的概况图本专题包含6篇文章：长短期记忆（LSTM）系列_LSTM的数据准备（1）——如何重塑Keras中长短期内存网络的输入数据长短期记忆（LSTM）系列_LSTM的数据准备（2）——如何编写OneHotEncoder（热编码）序列数据长短期记忆（LSTM）系列_LSTM的数据准备（3）——如何使用差分法消除数据的...

导读文中介绍了三种LSTM的建模应用，分别是生成式LSTM网络，Encoder-Decoder LSTM网络，CNN LSTM（LRCN）网络。大致介绍了一下每种网络的建模方法和应用场景，这里仅做了解即可原文链接：生成性长短期记忆网络 编码器 - 解码器长短期存储器网络 CNN LSTM网络生成式长短期记忆网络的介绍生成模型LSTM可以用作生成模型。给定大量序列数...

导读：堆叠式LSTM属于深度学习，通过添加网络的深度，提高训练的效率，获得更高的准确性。文中介绍了堆叠式LSTM的架构和实现方法在堆叠式LSTM中，层与层的输数出通过return_sequences = True参数修改成3D数据，以便供下一层网络使用。源码地址https://github.com/yangwohenmai/LSTM/tree/master/%E9%95%BF%...

导读：本文主要讲了一些模型中一个常见的问题，训练不足和过度拟合。过度拟合指的是由于训练数据过少，或者对训练集训练的次数过多，导致模型的结果不是找到所有数据的一般共有特性，而是仅对训练数据进行了特征提取。换句话说，这个模型已经记住了所有的训练数据，对训练数据的预测效果非常好，但对其他数据的预测效果非常差。对于训练不足的情况来说，可以通过增加网络中的节点，或者增加网络的训练周期来达到。...

导读：一个模型从准备数据到最后训练完成，构建了一个完整的神经网络，在准备用来预测之前，我们需要先将这个网络保存起来，以便下次可以直接拿来使用，不用重复训练。模型的保存和调用方法为model.save('')model = load_model('')我们所保存的网络状态指的是训练过程中使用的网络体系以及训练完成后网络节点之间的权重值。调用Keras中相应的保存和加载方法即可完成。...

本章结构图：长短期记忆（LSTM）系列文章是本人对博主Jason Brownlee博士文章学习的笔记，分享给大家一起学习如有版权问题请联系本人。本专题包含4篇文章：长短期记忆（LSTM）系列_LSTM的建模方法（1）——生成式LSTM网络,Encoder-Decoder LSTM网络,CNN LSTM（LRCN）网络建模介绍长短期记忆（LSTM）系列_LSTM的建模方法...

导读：本文介绍了LSTM网络中的TimeDistributed包装层，代码演示了具有TimeDistributed层的LSTM网络配置方法。演示了一对一，多对一，多对多，三种不同的预测方法如何配置。在对多对一预测中用了不配置TimeDistributed的方法，在多对多预测中使用了TimeDistributed层。对代码的解析在代码注释中源码地址：https://githu...

导读：有状态的网络指的是每次训练一个周期的网络，将当前网络的状态记录下来，下一次训练网络时将上一次网络的状态作为下一次训练时的网络初始状态。通过设置参数stateful=True来实现。model.add(LSTM(20, batch_input_shape=(n_batch, 1, n_features), stateful=True))本节演示了数据的重塑过程，如何编码数据输入输出...

导读：文中提到了回声序列，回声序列是一个数列自身数据之间构建了映射关系本文演示了如何生成一个随机序列，并且转化成热编码，并且将其构建成一个有输入输出映射的，监督型学习的数据结构。第二个例子给出了一个“序列 —>序列”的LSTM网络预测模型。第三个例子给出了 针对one hor encoder序列，加入编码器 - 解码器结构的LSTM网络模型源码地址：https://g...

长短期记忆(LSTM)系列_LSTM的特性学习章节结构图：到此，长短期记忆(LSTM)系列专题就结束了本专题系统的讲解了LSTM预测的方法，并给出了多个预测实例，供大家啊学习研究。本专题全部文章链接如下1.LSTM数据准备部分链接：长短期记忆（LSTM）系列_LSTM的数据准备（7）——总结（完结）2.LSTM建模方法部分：长短期记忆（LSTM）系列_LST...