qq_46207392的博客

吴恩达大佬的机器学习课程笔记

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!这个部分不难，就是拓展了几个梯度下降的方法而已随机梯度下降这是普通的线性回归的梯度下降（也叫批量梯度下降）但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源所以随机梯度下降出来了在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线可以看出粉色的曲线非常的。。。但它大体是向最小.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!推荐算法大家都应该知道是什么玩意引例通过用户已评测电影的数据来预测其他用户对电影的评测分数基于内容的推荐算法计算方法对于内容进行分析，我们知道AB喜欢爱情片，CD则喜欢动作片现在我们获得了每个电影的成分比例（爱情内容/动作内容的比例）我们可以将特征转化为一个特征向量同时，我们还需要预测用户的喜好向量就是用户对某个电影的喜欢程度(对目前来说我们可以得到此向量)如果我们要求A对第三个电影的.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!例子以视频的例子为例一个航天发动机有两个属性好的发动机的分布如下图而我们的任务是，给一个发动机，它的好坏未知，给你它的数据，判断它是否正常如果发动机正常的概率小于某个阈值，则认为这个发动机异常异常检测高斯(正态)分布图像和公式不同参数下的高斯函数图像算法实现首先求出两个参数之后将x(i)带入参数进行累乘如果概率小于阈值，则为异常实现时要注意的地方判断算法执行的.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!基本思想如果数据很多，并且里面有很多数据冗余，我们就需要一个可靠的办法来将数据进行压缩对于三维来说，压缩的方法就是将所有的点投影在一个线性平面上PCA(主成分分析算法)原理理解对于二维来说，PCA就是将二维的点投影到直线上，寻找使得点到直线垂直距离的平方最小的直线对于三维，就是寻找两个向量，让所有点到这两个向量构成的平面的垂直距离最短与线性回归的区别线性回归是求预测点和实际点的误差，而.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!无监督学习的概念无监督学习从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。一句话：给定数据，寻找隐藏的结构。例：给你一组无标记点，使用无监督算法进行分类K-means算法算法过程在图中随机取多个点，这几个点就是聚类中心（有多少个点取决于你想分多少组数据）现在进行分类，如果某点离某个聚类中心最近，那么这个点就属于那个聚类中.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!误差分析不对称

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!代价函数神经网络的代价函数公式看着挺复杂的它求代价函数的方法和逻辑回归的方法类似，区别是它会将每个分类的代价函数进行相加反向传播算法为了实现神经网络的梯度下降，我们需要计算代价函数的偏导这时候我们需要反向传播算法来实现这一目的图为神经网络的前向传播我想都应该看得懂。。。。神经网络的后向传播反向传播和前向传播的过程比较相似每一项计算的是估计值和实际值之间的误差每一项与对应的aj值相乘求.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!为什么会有神经网络如果一个模型的特征过多，最后的结果很有可能出现过拟合,同时，如果需要的分界线过于复杂的话（如上图），也不能拟合出来神经网络这个算法就是模仿人类大脑的神经元得来的最简单的神经网络x0为偏置单元，值恒为1xi为输入端，h为激活函数下面为比较简单的例子复杂一点的例子Layer1为输入层，Layer2为隐藏层，Layer3为输出层一个复杂的计算例神经网络的计算过程.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!与之前的线性回归不同，logistic回归不会返回连续的值，它只会返回表示类型的数值（如0和1），它主要用于分类问题使用逻辑回归的原因如图所示，这是一个分类问题，四个点为0，其他为1如果使用线性回归，最终的误差会非常大，同时使用线性回归的话，结果可能会远大于0和1逻辑回归...

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!前言之前的梯度下降仅对少数theta进行了处理，这个文章将介绍一个通用方法对多个theta进行梯度下降处理如果一个模型有114514+的属性，那么用代码实现的话很麻烦。如果要一个一个加的话，感觉效率不是很高该怎么做转化为向量计算对于上图第二行数据，我们可以将它转化为一个列向量（我还没复习线性代数嗷，有问题帮忙指一下）通过这个思路，我们可以将theta和x{i}(也就是第i个数据)转化为向量.

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，Vive le peuple!线性回归是最简单的机器学习模型，是个人都可以学会一.引例使用一组俄勒冈州波特兰市的城市住房价格的数据,通过机器学习的方法来预测住房价格我们的目标是将一个数据集，通过训练算法训练一个函数h(或者说假设)，通过输入价格x，能输出对应的预测价格e注：此例子的预测函数是线性函数二.代价函数它有什么用：代价函数用于计算预测值和实际值之间的误差，它用于和后面的梯度下降函数共同配合找到最优解这是我们.