YZXnuaa的博客

【代码】字符校对代码。

近日，澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络 IndRNN，不仅可以解决传统 RNN 所存在的梯度消失和梯度爆炸问题，还学习长期依赖关系；此外，借助 relu 等非饱和激活函数，训练之后 IndRNN 会变得非常鲁棒，并且通过堆叠多层 IndRNN 还可以构建比现有 RNN 更深的网络。实验结果表明，与传统的 RNN 和 LSTM 相比，使用 In...

新的神经网络结构不断涌现，我们很难一一掌握。哪怕一开始只是记住所有的简称（ DCIGN，BiLSTM，DCGAN ），也会让同学们吃不消。所以我决定写篇文章归纳归纳，各种神经网络结构。它们大部分都是神经网络，也有一些是完全不同的结构。虽然所有结构说起来都是新颖而独特的，但当我画出结点的结构图时……它们之间的内在联系显得更有意思。总表当我们在画节点图的时候发现了一个问题：这些图并没有展示出来这些神经...

炙手可热的LSTM[TOC]引言上一讲说到RNN. RNN可说是目前处理时间序列的大杀器,相比于传统的时间序列算法,使用起来更方便,不需要太多的前提假设,也不需太多的参数调节,更重要的是有学习能力,因此是一种'智能'算法.前面也说到, 不只时间序列,在很多领域,特别是涉及序列数据的,RNN的表现总是那么的'抢眼'.不过,在这抢眼的过程中, 冲锋最前面的可不是简单的RNN(或者说最原始的RNN), ...

以NASA之名: 卡尔曼滤波器'That's one small step for man,one giant leap for mankind.' — Neil Alden Armstron[TOC]引言二十世纪的阿波罗登月计划在人类历史上是浓墨重彩的一笔, 是人类科学发展极其重要的里程碑. 在此计划中, 阿姆斯特朗在月球上说出了上面的一句话,是对此计划最最恰当的注释. 说起来这个计划很''简单...

上几节讲了一些时间序列的基本概念, 大家总感觉不那么的'智能', 与现在的人工智能的总那么的... 不太搭边. 先不管以上'感觉'对不对, 今天插队与大家分享一个处理时间序列的'大杀器' — 循环神经网络(Recurrent neural network, RNN), RNN就是为处理序列数据而生的( 时间序列数据是当是序列数据!!!).首先,对于时间序列,让大家感受一下我随便训练的结果(真的很随...

时间序列建模的主要目标之一就是对时间序列未来取值的预测. 而另一个最重要的目标即是对预测精确性的评估.可以说之前的所有知识都是为预测与评估作准备的.所谓预测就是利用已观测样本数据,对未来某时刻的取值进行估计. 对时间序列预测,基于这样一个假设: 已观测信息包含时间序列模型的所有信息,其中一部分是可读的,基于可读信息,可以构建时间序列模型,此模型在一定的精度要求下, 可以作为真实模型的近似.最佳线性...

先看下图：这是1986年到2006年的原油月度价格。可见在2001年之后，原油价格有一个显著的攀爬，这时再去假定均值是一个定值（常数）就不太合理了，也就是说，第二讲的平稳模型在这种情况下就太适用了。也因此有了今天这一讲。要处理这种非平稳的数据（比如上图中的均值不是一个常数），需要用非平稳模型：求和自回归滑动平均(Autoregressive integrated moving average, A...

本章介绍第一类非常重要的模型：自回归滑动平均模型（ARMA)。在真实案例中，ARMA模型也被高频的使用到，更是后面模型的基础，反正，时间序列是绕不过去ARMA模型的。2.1 一般线性过程ARMA模型属于一大类过程（模型），即一般线性过程。一听到线性过程，是不是就觉得不难了？ 事实也是如此，别怕，干！那什么叫线性过程呢？对一时间序列{Yt}，比如就是2017年06月 27日的上证指数。则其可表示成现...