HB15458755的博客

逻辑回归算法是目前最流行使用最广泛的一种学习算法。从二元的分类问题开始讨论。 我们将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量 1，其中 0 表示负向类，1 表示正向类。 但如果是线性回归的话，那他的假设值就可能小于0或者大于1，为了使它的输出值永远这0-1之间，我们需要采用逻辑回...

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型：ℎ????(????) = ????0 + ????1????1+ ????2????2 ^2 或者三次方模型：ℎ????(????) = ????0 + ????1????1 + ????2????2 ^2+ ????3????3 ^3。如房价问题：ℎ????(????) = ????0 + ????1 × ???????????????????????????????? + ????2 × ??????????????

一：特征缩放*为什么要特征缩放？*在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛，减少梯度下降的循环次数。以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，如下图所示，而且梯度下降算法需要非常多次的...

支持多变量的假设 ℎ 表示为：ℎ????(????) = ????0 + ????1????1 + ????2????2+…+????????????????这个公式中有???? + 1个参数和????个变量，为了使得公式能够简化一些，引入????0 = 1，则公式转化为：ℎ????(????) = ????0????0 + ????1????1 + ????2????2+…+???????????????? 此时模型中的参数是一个???? + 1维的向量，任何一个训练实例也都是???? + 1维的向量，

梯度下降算法和线性回归算法（线性假设和平方差成本函数）比较如图：对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：则算法（批量梯度下降算法）改写成：...

定义： 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数????(????0,????1) 的最小值。梯度下降的抽象例子： 想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算法中，我们要做的就是旋转 360 度，看看我们的周围，并问自己要在某个方向上，用小碎步尽快下山。这些小碎步需要朝什么方向？如果我们站在山坡上的这一点，你看一下周围，你会发现最佳的下山方向，你...

在线性回归中我们有一个像这样的训练集，????代表了训练样本的数量，比如 ???? = 47。而我们的假设函数，也就是用来进行预测的函数，是这样的线性函数形式： ℎ????(????) = ????0 + ????1????。我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。 我们的目标便是选择出可以使得建模...

监督学习：就是我们给学习算法一个数据集。这个数据集由“正确答案”组成。例子1：收集了一些房价的数据，用二位坐标系将它进行表示，横轴表示房子的面积，单位是平方英尺，纵轴表示房价，单位是千美元。那基于这组数据，假如你有一个朋友，他有一套 750 平方英尺房子，现在他希望把房子卖掉，他想知道这房子能卖多少钱。在上述的例子中，我们给了一系列房子的数据，我们给定数据集中每个样本的正确价格，即它们实际的售...