小博要变强啊~

目录一、异常检测1、高斯分布2、参数估计3、密度估计4、数据集5、特征6、异常检测与监督学习对比7、多元高斯分布8、原高斯分布模型和多元高斯分布模型的比较一、异常检测模型 p(x) 为这个测试数据属于一组数据的可能性，通过 p(x) < ε 检测为异常。1、高斯分布x 符合高斯分布 x~ N(μ，σ2)，则其概率密度函数为：2、参数估计可以利用已有的数据来预测总体中的 μ 和 σ 的计算方法如下：3、密度估计对于给定的数据集 {x(1),x(2),…,x(m)}，我们要针对每一个

目录一、聚类1、K均值算法2、优化目标3、随机初始化4、选择聚类数量K二、降维1、用途2、主成分分析（PCA）3、主成分分析与线性回顾的比较4、算法实现5、选择主成分的数量K6、总结一、聚类第一个非监督学习算法。将无标签的样本{x(1)，x(2)，…，x(m)}分成多个类，形成多个簇。1、K均值算法①输入：k（簇的个数）x（样本，没有y）②步骤：选择 k 个随机的点，称为聚类中心（cluster centroids）；用μ1，μ2，…，μK表示。对于数据集中的每一个数据，按照距离

目录一、支持向量机（SVM）1、优化目标2、代价函数3、核函数4、如何选择地标？5、参数C和 σ的影响6、使用SVM一、支持向量机（SVM）与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。1、优化目标对比逻辑回归的代价函数：（针对单个样本）下面两个图为当 y = 1 时，cost 只剩下了第一项的图像。当 y = 0 时，cost = 的图像。粉色为 SVM 的目标优化。2、代价函数逻辑回归的代价函数：（A + λB）

目录一、哪些方法可以改进学习算法1、评估假设函数2、模型选择3、诊断偏差和方差4、正则化和偏差/方差5、学习曲线6、哪些方法可能有助于改进学习算法的效果，而哪些可能是徒劳的呢？一、哪些方法可以改进学习算法1、评估假设函数评估我们的假设函数算法是否过拟合。将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集。测试集评估在通过训练集让我们的模型学习得出其参数后，对测试集运用该模型，我们有两种方式计算误差：1.对于线性回归模型，我们利用测试集数据计算代价函数2.对于逻

目录一、反向传播1、两种分类问题2、神经网络的代价函数一、反向传播1、两种分类问题①二元分类（输出只有两个类别）y = {0,1}，SL = 1注：SL表示最后一层中输出单元的个数。L表示神经网络的层数。②多类别分类（输出有≥3个的类别）y 为k维向量 （k ≥ 3），SL = kyi = 1 表示属于第 i 类。2、神经网络的代价函数对比逻辑回归的代价函数：①逻辑函数：注：正则项不包括θ0②神经网络：在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只

目录一、线性回归1、假设函数2、代价函数3、梯度下降二、多变量线性回归1、假设函数2、代价函数3、批量梯度下降算法4、特征缩放5、学习率α6、正规方程一、线性回归它称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们：根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。回归一词指的是，我们根据之前的数据预测出一个准确的输出值。1、假设函数单变量的假设函数：2、代价函数我们选择的参数 θ0，θ1 决定了我们得到的直线相对于我们的训练集的准确程度，模型

目录一、神经网络1、神经元模型2、神经网络3、前向传播算法4、神经网络例子5、多类分类一、神经网络神经网络产生的原因是人们想尝试设计出模仿大脑的算法。找出一些近似的或实际的大脑学习算法，然后实现大脑通过自学掌握如何处理这些不同类型的数据。1、神经元模型其中x为输入层，x0为偏置单元，=1。黄圈为输出层，输入预测结果。在神经网络中，参数θ又可被成为权重（weight）。2、神经网络神经网络是是由一组神经元组成的。（1）第一层成为输入层（Input Layer），其中, x1,x2,x3是输

目录一、逻辑回归1、假设函数2、概率3、代价函数4、拟合θ5、多类别分类二、过拟合问题1、解决过拟合的方法2、正则化线性回归（1）代价函数（2）梯度下降（3）正规方程2、正则化逻辑回归（1）代价函数（2）梯度下降（3）高级优化算法一、逻辑回归逻辑回归算法是一种分类算法1、假设函数hθ(x)为假设函数，g(z)为Sigmoid function或逻辑函数2、概率当hθ(x) ≥ 0.5 时，预测出y = 1， 则g(θTx) ≥ 0.5， θTx ≥ 0当hθ(x) ＜ 0.5 时，预测出