耿国锋的博客

依据之前博文中的神经网络理论做个简单的例子，对神经网络前向传播与反向传播算法有个深入理解，同时对神经网络计算细节有个清晰认识。题目：上图的样本案例分3类，利用神经网络知识推算出一个未知坐标属于哪类这里我准备用3层结构的神经网络层一，nn_params：初始化参数值。    首先进行参数随机初始化    eps = 0.0001 ;   Theta1=

小结一下使用神经网络时的步骤：    网络结构：第一件要做的事是选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。第一层的单元数即我们训练集的特征数量。最后一层的单元数是我们训练集的结果的类的数量。如果隐藏层数大于 1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。我们真正要决定的是隐藏层的层数和每个中间层的单元数。训练神经网络： 1. 参数的随机初始化

一，神经网络的代价函数  首先引入一些便于稍后讨论的新标记方法：假设神经网络的训练样本有 m 个，每个包含一组输入 x 和一组输出信号 y，L 表示神经网络层数，Sl 表示每层的 neuron 个数(SL 表示输出层神经元个数)，SL  代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：SL=1, y=0 or 1 表示哪一类；K 类分类：SL

一，为什么使用神经网络    我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大，下面是一个例子：当我们使用 x1、x2 的多次项式进行预测时，我们可以应用的很好。之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性的多