打瞌睡_的博客

吴恩达机器学习笔记目录 Week 知识点 1 引言、单变量线性回归、线性代数回顾 2 多变量线性回归、Octave教程 3 逻辑回归、正则化 4 神经网络 5 神经网络的学习 6 应用机器学习的建议、机器学习系统的设计 7 支持向量机 8 聚类、降维 ...

三维重建经典算法简介：ICP、ARAP、Marching Cubes、TSDF

17大规模机器学习(Large Scale Machine Learning)17.1 大型数据集的学习（ Learning With Large Datasets）如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集？以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用1000个训

15异常检测(Anomaly Detection)15.1 问题的动机（Problem Motivation）异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。什么是异常检测呢？给定数据集 x(1),x(2),..,x(m)x^{(1)},x^{(2)},..,x^{(m)}x(1),x(2),..,x(m)，假使数据集是正常的，希望知道新的数据 xtestx_{test}xtest​ 是不是异常的

13聚类(Clustering)13.1 无监督学习简介（Unsupervised Learning Introduction）在一个典型的监督学习中，有一个有标签的训练集，目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，有一系列标签，需要据此拟合一个假设函数。与此不同的是，在非监督学习中，数据没有附带任何标签。训练集可以写成只有x(1)x^{(1)}x(1),x(2)x^{(2)}x(2)……一直到x(m)x^{(m)}x(m)。没有任何标签yyy。数据一般看起来可以分成几个分开的点集

12支持向量机（Support Vector Machines）12.1 优化目标（Optimization Objective）与逻辑回归和神经网络相比，支持向量机SVM在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。现在开始建立支持向量机，从代价函数开始，也就是−log⁡(1−11+e−z)-\log(1-\frac{1}{1+e^{-z}})−log(1−1+e−z1​)一点一点修改，让我取这里的z=1z=1z=1 点，我先画出将要用的代价函数。新的代价函数将会水平的从这里到右边

10应用机器学习的建议(Advice for Applying Machine Learning)10.1 决定下一步做什么（Deciding What to Try Next ）本章重点关注的问题是假如开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，应如何决定接下来应该选择哪条道路？改进算法性能的方法：获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减

神经网络的学习(Neural Networks: Learning)9.1 代价函数（Cost Function）首先引入一些便于稍后讨论的新标记方法：假设神经网络的训练样本有mmm个，每个包含一组输入xxx和一组输出信号yyy，LLL表示神经网络层数，SIS_ISI​表示每层的neuron个数(SlS_lSl​表示输出层神经元个数)，SLS_LSL​代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：SL=0,y=0 or 1S_L=0, y=0\, or

8 神经网络：表述(Neural Networks: Representation)8.1 非线性假设（Non-linear hypothe）线性回归和逻辑回归算法当特征太多时，计算的负荷会非常大。这时需要神经网络。8.2 神经元和大脑（Neurons and brain）神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。神经网络逐渐兴起于二十世纪八九十年代，应用得非常广泛。但由于各种原因，在90年代的后期应用减少了。但是最近，神经网络又东山再起了。其中一个原因是：神经网络是计算量

6逻辑回归（Logistic Regression）6.1分类问题（Classification）在分类问题中，要预测的变量 yyy 是离散的值，尝试预测的是结果是否属于某一个类。逻辑回归算法是分类算法，使用逻辑回归 (Logistic Regression) 算法解决分类问题，这是目前最流行使用最广泛的一种学习算法。二元分类问题：将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量y∈0,1y

4多变量线性回归（Linear Regression with multiple variables）4.1多维特征（Multiple features）多变量模型注释：nnn：特征数量x(i){x^{\left( i \right)}}x(i)：第 iii 个训练实例，是特征矩阵中的第iii行，是一个向量（vector）。xj(i){x}_{j}^{\left( i \right)}xj(i)​：特征矩阵中第 iii 行的第 jjj 个特征，也就是第 iii 个训练实例的第 jjj 个特征。

1引言（Introduction）1.1欢迎（Welcome）1.2机器学习是什么（What is machine learning?）Arthur Samuel(1959)：机器学习是在没有进行特定编程的情况下，给予计算机学习能力的领域。Tom Mitchell(1998)：一个好的学习问题定义如下，一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当有了经验E后，经过P评判，程序在处理T时的性能有所提升。机器学习算法包括监督学习（Supervised learning）、