为取经而来的博客

1.训练集   有训练样例(training example)组成的集合就是训练集。   如上图所示，右边两列数据就是训练集。一个（x，y）就是一个训练样例。我们用一些特定的字母表示术语：   m：代表训练集中实例的数量；   x：代表特征/输入变量；   y：代表目标变量/输出变量；   (x,y)：代表训练集中的实例；   (x(i),y(i))：代表第i个训练实例；   h：代表学习算法的解...

1.代价函数   首先引入一些新记法，便于稍后讨论。   假设神经网络的样本有m个，每个样本包含一组输入x和一组输出信号y，L表示神经网络的层数，Sl即第l层的单元个数（不包括偏置单元）。   将神经网络的分类定义为两种情况：二类分类和多类分类。      在逻辑回归中，我们的代价函数：      我们只有一个输出变量，也只有一个因变量y。但是在神经网络中不同，我们可以有很多输出变量，我们的hθ（...

1.前言   前面我们讨论了线性回归、逻辑回归，当我们遇到更为复杂的分类问题时，是否有其他的选择？   举个例子，多项式回归如下所示：      得到非线性分类器：       当然这里不再是预测房价（回归问题），而是预测是否能售出（分类问题）。如果有100个独立特征，       我们任取两个特征值作为组合特征时，大约可以得到5000个特征；任选三个作为组合特征时，大约有170000个特征。  ...

1.机器学习   两条定义：2.监督学习   给定一组数据，我们知道正确的输出结果应该是什么样子，并且知道在输入和输出之间有着一个特定的关系。   监督学习的分类：回归（Regression）、分类（Classification）   回归：预测一个连续值，输入变量和输出用一个函数对应。   分类：预测一个离散值，输入变量和离散的类别对应。   举例：   回归：对房地产数据也测房屋价格，面积已...

1.工作的优先级   以垃圾邮件分类器算法为例进行讨论：   为了解决问题，我们首先要决定如何表达特征向量 x。选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现（出现为 1，不出现为 0），获得特征向量。   为了构建这个分类器算法，我们可以：   （1）收集更多的数据，有更多的垃圾邮件和非垃圾邮件的样本；   （2）开发一系列复杂的特征

1.过拟合问题   先看一个回归的例子：      第一张图，是一个线性模型，欠拟合（underfit），不能很好的适应训练集；   第二张图，拟合的很合适。   第三张图，四次模型，过度拟合。虽然可以很好的适应训练集，在添加一个新变量后，预测效果可能不太好。   同理，再看一个分类的例子：      和上面的例子相同，第一张图出现欠拟合的问题，第三张图则过度拟合。只有中间的图比较合适。   根据...

1.分类   分类问题很多，比如说是否为垃圾邮件，在线交易是否欺诈等（二分类问题）。   使用线性回归模型h（θ），会得到连续的预测值，但是我们需要的输出是0和1。所以这里要确定一个阈值。   h（θ）>0.5，预测y=1； h（θ）<0.5，预测y=0。这种情况下，我们可以很好的完成分类的任务。但是，增加一个特征点到训练集中，会使得回归直线偏移，原本的阈值0.5不再合适，预测值产生偏...

1.多维特征   以前我们谈到的变量只有一个，单个特征的训练样本，单个特征的表达式。   以房价的预测举例，特征除了房屋的大小，还可以有房间数，楼层数，房龄等特征。   一些特殊字母的定义：      n：代表特征的数量；   X（i）：代表第i个训练实例（特征矩阵的第i行）；   Xj（i）：第i个训练实例的第j个特征（特征矩阵的第i行的第j个特征）；   假设函数不再是单变量线性回归时的函数：...

这一节我们主要用来熟悉octave的使用。   octave和matlab一样，主要用来数值计算和仿真。尤其精于矩阵运算：求解联立方程组，计算矩阵特征值和特征向量等等。      矩阵大小：size（A）  输出：行m，列n                      size（A，1）  输出：行m                      size（A，2）  输出：列n

本节的主要内容是复习矩阵的相关知识点。1.表示方法   一般，我们用  来表示矩阵A，其中m代表行数，n代表列数。   用 表示矩阵A中的第i行和第j列的元素。2.矩阵的运算   加法：对应元素相加。   减法：对应元素相减。   乘法：不满足交换律。3.矩阵的操作和性质   单位矩阵：对角元素全为1，其余元素全为0。   对角矩阵：除对角元素外，其余元素全为0。（单位矩阵是特殊的对角矩阵）   ...

1.决定下一步   以预测房价为例，假如我们已经完成了正则化线性回归，在得到学习参数之后，将假设函数放到新的样本上测试，却发现产生非常大的误差。现在我们的问题是改进这个算法，该怎么做？   我们可以想出很多种方法解决问题，有一种办法是使用更多的训练样本，或者说使用更少的特征。但是我们并不知道效果如何，有可能一直在做无用功。我们接下来所要讲的，就是在这些方法中学会选择，这样才能让我们事半功倍