<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[v_road的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/v_road</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; v_road]]></copyright><item><title><![CDATA[深度神经网络——优化算法]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/95108708</link><guid>https://blog.youkuaiyun.com/v_road/article/details/95108708</guid><author>v_road</author><pubDate>Mon, 15 Jul 2019 00:11:35 +0800</pubDate><description><![CDATA[好的优化算法能够让神经网络运行的更快。本篇博客根据吴恩达老师的讲解，对几种优化算法进行总结。


梯度下降法
指数加权平均数（预备知识）https://www.jianshu.com/p/41218cb5e099
动量梯度下降法
RMSprop
Adam

1. Mini-batch梯度下降法
  将训练集分割为小一点子集，使用梯度下降法进行训练。该过程叫做Mini-batch梯度下降。
  假...]]></description><category></category></item><item><title><![CDATA[指数加权平均数]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/95114377</link><guid>https://blog.youkuaiyun.com/v_road/article/details/95114377</guid><author>v_road</author><pubDate>Tue, 09 Jul 2019 22:40:50 +0800</pubDate><description><![CDATA[在深度神经网络的优化算法中，通常会用到指数加权平均数的概念。本篇博客根据吴恩达老师的视频讲解进行介绍。

指数加权平均，在统计学中也叫做指数加权移动平均。它可以根据观察期近期的观察值进行预测，可以反映近期的变化趋势。
指数加权移动平均的公式：

其中，
θ_t表示第t天的实际观察值
v_t-1表示第t-1天的移动平均值
v_t表示第t天的移动平均值
β表示第t-1天的移动平均值和第t天的实际观测...]]></description><category></category></item><item><title><![CDATA[深度神经网络—正则化（三）]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/94839446</link><guid>https://blog.youkuaiyun.com/v_road/article/details/94839446</guid><author>v_road</author><pubDate>Sat, 06 Jul 2019 11:56:35 +0800</pubDate><description><![CDATA[深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。

正则化的主要方法有：

L2正则化
dropout
数据增广
early stopping
Bagging
在样本中增加噪声

Early stopping
  在训练过程中，通常希望训练误差，代价函数J都...]]></description><category></category></item><item><title><![CDATA[深度神经网络—正则化（二）dropout正则化]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/94656084</link><guid>https://blog.youkuaiyun.com/v_road/article/details/94656084</guid><author>v_road</author><pubDate>Fri, 05 Jul 2019 08:56:09 +0800</pubDate><description><![CDATA[深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。

正则化的主要方法有：

L2正则化
dropout
数据增广
early stopping
Bagging
在样本中增加噪声

本篇介绍dropout正则化：
  dropout（随机失活）也是一种非常使用...]]></description><category></category></item><item><title><![CDATA[深度神经网络—正则化（一）L2正则化]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/94492633</link><guid>https://blog.youkuaiyun.com/v_road/article/details/94492633</guid><author>v_road</author><pubDate>Wed, 03 Jul 2019 11:52:59 +0800</pubDate><description><![CDATA[深度学习可能存在过拟合问题——高方差，有两个解决办法，一是正则化，另一个是准备更多的数据，但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高，所以通常使用正则化的方法来避免过拟合。

正则化的主要方法有：

L2正则化
dropout
数据增广
early stopping
Bagging
在样本中增加噪声

本篇博客先介绍L2正则化
1. L2正则化公式及参数更新
我们代价函数中加入正...]]></description><category></category></item><item><title><![CDATA[深度神经网络—BatchNorm层]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/93713458</link><guid>https://blog.youkuaiyun.com/v_road/article/details/93713458</guid><author>v_road</author><pubDate>Thu, 27 Jun 2019 23:13:17 +0800</pubDate><description><![CDATA[本篇博客是根据吴恩达老师的视频讲解，参考网上已有的资料，进行的一些总结，以便自己日后复习。

Batch Normalization（Batch归一化，简称BatchNorm），会使参数搜索问题变得容易，使神经网络对超参数的选择更加稳定，同时也会是网络，甚至是深层网络的训练更加容易。
接下来就探讨一下为什么BatchNorm为什么会起到加速网络训练的效果？
1. 对每层输入特征进行归一化处理

...]]></description><category></category></item><item><title><![CDATA[深度神经网络—归一化]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/93668060</link><guid>https://blog.youkuaiyun.com/v_road/article/details/93668060</guid><author>v_road</author><pubDate>Wed, 26 Jun 2019 09:29:36 +0800</pubDate><description><![CDATA[训练深度神经网络，归一化输入特征可以加快学习。
假设一个训练集有两个输入特征x1,x2，一般需要两个步骤：

零均值
归一化方差

左图为原始数据分布图；
中间为零均值化后的分布图：

相当于移动训练集；
右图为归一化方差后的分布图：

在原始分布图中，特征x1的方差比特征x2的方差大得多，通过上式的归一化操作，特征x1和特征x2具有了相抵的方差，效果如右图所示。

为什么归一化可以加速收敛速度？...]]></description><category></category></item><item><title><![CDATA[卷积神经网络—全连接层]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/89343769</link><guid>https://blog.youkuaiyun.com/v_road/article/details/89343769</guid><author>v_road</author><pubDate>Tue, 16 Apr 2019 22:36:34 +0800</pubDate><description><![CDATA[卷积神经网络—全连接层

全连接层
全连接层与卷积层
全连接层与GAP（全局平均池化层）

[1] https://blog.youkuaiyun.com/Touch_Dream/article/details/79775786
[2] https://www.cnblogs.com/zongfa/p/9048680.html
[3] https://www.zhihu.com/question/410379...]]></description><category></category></item><item><title><![CDATA[卷积神经网络—池化层]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/89322040</link><guid>https://blog.youkuaiyun.com/v_road/article/details/89322040</guid><author>v_road</author><pubDate>Mon, 15 Apr 2019 21:59:21 +0800</pubDate><description><![CDATA[卷积神经网络—池化层（pooling）
池化层的作用：

增加平移不变性
降采样，即降维
增大感受野

1. 增加平移不变性
平移的不变性是指当我们对输入进行少量平移时，经过池化函数后的大多数输出并不会发生改变。
局部平移不变性是一个有用的性质，尤其是当我们关心某个特征是否出现，而不关心它出现的具体位置时。
2. 降采样（降维）
保留主要特征的同时减少参数和计算量，防止过拟合，提高模型泛化能力。
...]]></description><category></category></item><item><title><![CDATA[卷积神经网络-卷积层]]></title><link>https://blog.youkuaiyun.com/v_road/article/details/88728681</link><guid>https://blog.youkuaiyun.com/v_road/article/details/88728681</guid><author>v_road</author><pubDate>Thu, 21 Mar 2019 23:09:46 +0800</pubDate><description><![CDATA[卷积神经网络——卷积层CNN怎么进行识别什么是卷积图像上的卷积GIF动态卷积图权值共享
[1] https://blog.youkuaiyun.com/v_JULY_v/article/details/51812459
[2] https://blog.youkuaiyun.com/yjl9122/article/details/70198357
卷积神经网络（CNN）一般由输入层、卷积层、激活函数、池化层、全连接层组成...]]></description><category></category></item></channel></rss>