Grateful_Dead424的博客

RNN——>输入是一个句子，输出是pos or neg CNN——>输入是图片，输出是从n个选项里选择一个正确的 Seq2seq：翻译（产生文句）（generation） GAN：画二次元人物头像（generation） Unsupervised Learning Network Architecture——>给机器一个搜寻的范围，告诉机器只要在这个范围内找就可以了（RNN+CNN） Explainable AI—.

无偏性：总希望在多次试验中所得到的估计量的平均值与参数的真实值相吻合 error来自于bias和variance 简单的model（var小bias大），包含的范围比较小，不容易包含target 复杂的model（var大 bias小），包含的范围很大，容易包含target varience很大，overfitting bias很大，underfitting 做regularization让曲线更加平滑，但可能会伤害bias ...

Loss function是function的function（function为自变量，线性回归中w、b为自变量） 一开始离目标远learning_rate的值要比较大，等到离目标近的时候调小learning_rate 是导数，是所有之前步骤算出的均方根（先求平方，再求均值，最后开根号） 出现矛盾，分母的地方gradient越大步伐越小，分子的地方gradient越大步伐越大 一个参数的时候，最好的步伐和微分大小成正比 a和b比较，a的微分大，a距离最低点是比较远（只考虑...

记录了关于梯度的历史 SGD SGD with Momentum 防止gradient为0，SGD停止不动了 sgd with momentum，前面的移动会累加到下一步 sgd with momentum，前面的移动会累加到下一步，所以小球不会卡在局部的一个最优的位置 Adagrad 前几个time step如果坡度很大，就会暴走，走到不好的位置上，有个分母就会走小步一点 RMSProp 怕使用adagrad时，一开始的坡度很大，那么步幅就会很小，走没...

input是宝可梦精灵，output是属性 能不能用这些得分来预测宝可梦的类别 属性相克表 利用回归，若数据input到regression的model里的数值接近于1就被分到第一类，若数据input到regression的model里的数值接近于0就被分到第二类里面 第二幅图，若分界线仍然为绿线，右下角这些点input到regression的model里，数值会远大于1。因此绿线会向下倾斜到紫线的位置上，这样效果并不好 mu...

这就是logistic regression的原理 logistic regression相比于linear regression而言，外面套了一个sigmoid函数 y_hat是110而不是101 y_hat是110而不是101 交叉熵(cross entropy):cross entropy代表的含义是这两个分布有多接近，两个分布越接近cross entropy算出来就会越小 step 2里面的两个L函数指的是损失函数，对于logistic regre...

Deep Learning近些年来吸引到了很多的关注，并且横跨多领域、横跨多种产品，有非常非常多的应用 深度学习的历史、步骤 1958年，一开始perception的提出引起了轰动， 有人说可以利用perception来分辨坦克和卡车，但结果是拍摄坦克卡车的日子不同，一天是雨天一天是晴天，perception只能够抓到亮度而已 1980年，把多个perception接在一起 1986年，发现超过3个hidden layer的效果是不好的 1989年，认为1个hidden lay...

引言 求导法则 回顾一下之前学习过的，在求解神经网络时，我们通常使用梯度下降算法进行求解。首先，先自定义一组参数作为我们的起始值，之后计算我们需要使用的梯度，有了梯度之后就可以利用它进行迭代求解了 显而易见的是，在一个神经网络中，可能参数数目成千上万，远超过我们的想象，那么这么庞大的计算量，我们就需要一些可以辅助我们的工具。backpropagation（反向传播）可以帮助我们有效的进行渐变迭代计算（帮助计算梯度）。 求导法则 第一种情况下，一元复合函数求导，内部求导与外部求导的..

目录 一、神经网络的表现 二、改进神经网络 （一）梯度消失以及改进办法 （二）Adaptive Learning Rate （三）Local minimize问题 三、解决overfitting （一）Early Stopping （二）Regulation （三）Dropout 一、神经网络的表现 建立deep learning的三个步骤 define a set function goodness of function pick the best functi..

问题1：越深越好？ earning从一层到七层，error rate在不断的下降。能看出network越深，参数越多，performance较也越好。 比较shallow model较好还是deep model较好，在比较的时候一个前提就是调整shallow和Deep让他们的参数是一样多，这样就会得到一个矮胖的模型和高瘦的模型。 这个实验的后半段的实验结果是：我们用5层hidden layer，每层2000个neural，得到的error rate是17.2%（error rate是越.