安徽思远的博客

一、GRU首先需要明确的是，GRU出现的时间是在LSTM之后的，其实为了简化LSTM而产生的，由于其简易型，一般都会先进行介绍。首先来看一下RNN的示意图，如下。这里不做解释。下图是GRU的示意图，相较于RNN似乎复杂了许多。其只是增加了一个cell来存储需要远程传递的信息以及相应的gate来管控信息的传递。前一层的隐藏状态与本层的输入合在一起分别进入激活函数中，得到重置门R，更新门Z。随后重置门决定前一层的隐藏状态如何参与本层的输入计算，得到候选隐藏状态。这里重置门的大小主要决定前一层的输出

一、 过拟合首先我们需要明白什么是过拟合，由下图可知，对于（2）图则是出现了非常明显的过拟合。从图中我们可以发现过拟合的特征，具有非常强的非线性特征，几乎让训练误差接近于0。二、 正则化的思路对于正则化，我们则是想要降低这种非线性的特征。这是我们的目的，我们来观察一下我们的非线性特征产生的原因——激活函数。我们选取tanh的函数进行分析，从图中可以看出，非线性特征需要在于当x远大于0的...

一、 算法在训练集外的误差Eote(La∣X,f)=∑h∑x∈X−XP(x)I(h(x)≠f(x))P(h∣X,La)E_{o t e}\left(\mathfrak{L}_{a} | X, f\right)=\sum_{h} \sum_{x \in \mathcal{X}-X} P(\boldsymbol{x}) \mathbb{I}(h(\boldsymbol{x}) \neq f(\bol...

从西瓜的例子来看，色泽、根蒂、敲声每种特征均有三个属性。我们想要从所有可能性中抽取一条规则来定义什么瓜是好瓜。而我们的假设空间则包含所有可能性。这里我们可以从两个角度得到最终结果65。一、分别考虑现在我们一共有3个特征，如果我们只需要从3个特征中选取一个特征中作为最终的结果（这意味着剩余两个特征无关紧要），我们一共有3*3=9种可能；如果我们需要从3个特征中选取2个特征作为最终的结果，则...

知识总览1、Graphlab库安装以及简单介绍2、Regression回归模型及应用3、Classification分类模型及应用4、Cluster聚类模型及应用5、矩阵分解推荐系统及应用6、深度学习-神经网络模型及应用一、Graphlab库安装以及简单介绍几个需要注意的地方：应该按照graphlab官网的教程安装anaconda2如果已经有anaconda3可以在anac...