Virtual_Func的博客

RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比较研究。  （1） 从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到

RBF神经网络介绍得很好的博客：点击打开链接BF神经网络与RBF神经网络的区别介绍的很好的博客：点击打开链接

文章转自：点击打开链接图像预处理使用下图（后方称为 SAMPLE_BMP）作为训练和测试数据来源，下文将讲述如何将图像转换为训练数据。灰度化和二值化在字符识别的过程中，识别算法不需要关心图像的彩色信息。因此，需要将彩色图像转化为灰度图像。经过灰度化处理后的图像中还包含有背景信息。因此，我们还得进一步处理，将背景噪声屏蔽掉，突显出字符轮廓信息。二值化处理就能够将其中的字符

前言：深度学习是个很有意思的话题：1.对线性不可分的数据，其方法是通过增加隐层神经元的数量，将低维不可分的数据映射到高维，使得数据可分（如单隐层感知机训练异或门）2.对特征维数过高的数据（如mnist手写识别中的维度为28*28），将对数据进行降维操作，通常的降维操作有PCA（主成分分析）与dA(降噪自动编码器)。下面是对PCA的工作流程的简述，之后对工作流程进行数学上的解

1、批量梯度下降的求解思路如下：（1）将J( θ)对theta求偏导，得到每个 θ对应的的梯度   （2）由于是要最小化风险函数，所以按每个参数theta的梯度负方向，来更新每个theta（3）从上面公式可以注意到，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果m很大，那么可想而知这种方法的迭代速度！！所以，这就引入了另外一种方法，随机梯度下降

Deep Forest 结构1. Deep Forest 是由多层瀑布组成的，每一层瀑布的输入是前一层瀑布输出的特征信息，且该层瀑布的输出作为下一层瀑布的输入特征的一部分2. 瀑布是由多个森林集成的，而森林又是由多棵决策树集成的。为了保证模型的多样性，采用了多种不同种类的森林3. 为了简单起见，文中在每层瀑布中只选用了两种森林：two complete random fores