范fun的博客

机器学习中的BP算法C++实现

1、前向传播 最上面的一行 +1 为偏置量；第层的就是 层的example: 取中间两个隐藏层，即第二层和第三层 第层的第个神经元对第层的第个神经元的权重 （下标0时为偏置量对神经元的权重） 2、反向传播 第层中的第个神经元的激活项的误差 第层中的第个神经元的“输入加权求和项” 反向传播算法其实就是算，其实是代价函数对的偏导。通过影响神经网络各层的权重进而影响输出。exa...

目录一、多元分类二、代价函数一、多元分类在神经网络中实现多类别分类，采用的方法是一对多的的扩展。举个例子：计算机视觉的例子现在不仅仅是要识别汽车，还需要识别四个类别的对象，通过图像来辨别出哪些是行人、汽车、摩托车、火车。所以需要建立一个具有四个输出单元的神经网络，如下：用第一个输出单元来判断图中是否有行人，第二个输出单元来判断是否有汽车，第三个输出单元来判断是否有摩托车，第四个输出单元来判断是否有货车。之前，在前面的博客中简绍的一对多分类中，是将输出标签定义为，...

（回顾一下我们初中学习过的生物课中神经元）。1、单个神经元：特征输入向量，其中是偏置项； ：有的地方写成，权重向量； 黄色圈圈：神经元，也叫做激活函数。 ：输出2、激活函数常用的非线性激活函数有sigmoid、tanh、relu等等。简要介绍下最基础的sigmoid函数(该函数我们在逻辑回归中用到过)：形式为：图形为：从图形上可以直观的看出来，sigmoid函数的功能是相当于把一个数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时...

还是以前的那个房价预测的例子，左图是拟合的比较好的，右图显然过拟合了。是我们的优化目标，要最小化这个均方误差代价函数。现在对它进行一些修改，加上了，其中1000只是随便选的一个比较大的数。现在要使这个修改后的函数尽可能小的方法只有一个，那就是要尽可能的小，因为它们的系数1000有点大，这样就导致这个函数的值变得很大。当时，相当于这两项去掉了，结果目标哈函数就是一个二次函数加上一个很...

之前已近了解了二分类问题。这比较好理解，即一个样本的标签不是0就是1。问题：对于多分类的情况该怎么办？例：分辨图形如上图，规定： 正方形为1，三角形为2，叉叉为3。这显然是一个一对多的分类问题。其结果输出有 y=1，y=2，y=3。思路：将问题转化为求多个 二分类的问题（不是0就是1）。如右边的上方第一个图，这是拟合的第一个分类器。在这个分类器中，三角形是正样本，圆形为负...

对于假设函数：0、分类就是字面的意思，对某个事物进行分类，好的还是坏的，yes或者no，等等。一般实现时使用1或者0。也就是说得出的结果是两个离散值0，1,即。线性回归应用在分类问题中的局限性：当输出在（0，1）之间时，我们会得到一个期望的值，但是如果输出在1之外的话，线性回归可能得到一个很差的结果。所以需要引进一个函数：Logistic函数 logistic函...

特征缩放的目的是为了代价函数收敛的更快一、序现在假设房价受到房子面积以及房子的房间数影响，即假设函数，其中分别表示面积和房间数，是另外定的一个特征值，恒等于1。现在 x1 的范围在（0，2000），x2属于（1，5）。在用梯度下降的时候，类似于左边的等值线图，会下降的很慢。如果采用右图的做法，即特征缩放的方法，对特征值进行归一化处理，最终使特征值 x1，x2都在（0,1）之...

线性回归的梯度下降：其实就是将梯度下降算法和代价函数相结合。上图左边的蓝色框里的就是梯度下降法公式，右边的分别是线性回归模型以及平方误差代价函数。目的就是利用梯度下降的方法来最小化平方误差代价函数。 需要知道，最重要的是梯度下降法的导数部分，在梯度下降法公式与代价函数结合后的导数部分形式如下：要留意的是，求导时系数分母有个2被约掉了。现在代价函数对于的偏导已知，将他们...

一、梯度下降法公式： 称为学习率，也可以称为步长，它控制我们以多大的幅度更新这个参数。就是我们的代价函数。是我们最终要确定的权重系数，通过这种梯度下降的方式来一步一步的逼近我们想要的结果。需要注意的是这些系数要同步更新。即：二、几何意义1：导数项导数的几何意义，我们就会联想到斜率，或者直线在某一点的切线。控制方向如图，我们知道，导数...

一、线性回归还是房价的例子。训练样本数据集 （m个样本）回归就是我们预测一个具体的数值输出，也就是价格。线性回归就是找一个一次函数来拟合训练数据集，如图。这里预测y是关于x的线性函数：：我们可以看到这里有我们的训练集（Training Set），我们把它提供我们的学习算法（Learning Algorithm）进行训练，然后算法通过训练输出一个函数h...

一、Supervised learning （监督学习）1、regression problem（回归问题）监督学习是指，我们给算法一个数据集，其中包括正确答案（你想要的正确结果）。比如给定房价数据集，对于里面每个房子的占地面积，我们都给出对应的正确房价（即该房子卖出的价格），算法的目的就是给出更多的正确答案。这里的回归问题是：我们想要预测连续的数值输出，也就是价格。在这里，我们称 房...