jestland

0 复习0.1 矩阵论0.1.1 矩阵的逆只有方阵才存在逆矩阵不存在逆矩阵的矩阵称为奇异矩阵检查特征量中是否存在能被其他特征量表示的特征，有则删去样本数若少于特征量则不可逆，可用正则化解决0.1.2 向量内积0.1.3 正定矩阵与半正定矩阵正定矩阵：给定一大小维n×nn\times nn×n的实对称矩阵A，若对于任意长度为n的非零向量x，有XTAX>0X^TA...

1 术语1.1 泛化学习得到的模型适用于新样本的能力称为泛化能力1.2 过拟合-关键障碍学习器能拟合样本所有数据，即把训练样本自身的一些特点当作所有潜在样本的一般性质，导致泛化能力下降的现象。即假设函数中特征变量过多只可缓解，无法消除常见导致因素：学习能力过好1.2.1 解决方法人为或者利用算法舍去影响程度不高的特征变量正则化：保留所有特征变量但降低参数大小1.3...

2 模型评估2.1 数据集划分为训练集与测试集方法常按照7：3的比例选择，若数据已经随机的话就取前70%作为样本集2.1.1 留出法直接将数据集D划分为两个互斥的集合划分应保持数据分布一致性存在多种划分方式，采用若干次随机划分、重复进行实验评估后取平均值作为评估结果常见做法：2/3~4/5样本用于训练，剩余用于测试，测试集至少含30个样例2.1.2 交叉验证法–k折交叉验证将...

3 线性回归3.1 最小二乘法试图找到一条直线，使所有样本到直线上的欧式距离之和最小3.2 代价函数cost function，往往令其最小化单变量线性回归假设函数(3.1)h(θ)=θ0+θ1xh(\theta)=\theta_0+\theta_1x\tag{3.1}h(θ)=θ0​+θ1​x(3.1)3.2.1 梯度下降法不停进行θ\thetaθ迭代计算使代价函数J最小化...

4 逻辑回归逻辑回归的假设函数为sigmoid函数，把较大范围变化的输出值挤压到(0，1)内，因此也被称为挤压函数(4.1)hθ(x)=11+e−θTxh_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}\tag{4.1}hθ​(x)=1+e−θTx1​(4.1)hθ(x)h_\theta(x)hθ​(x)代表输入为x时y=1的概率4.1 决策边界若规定hθ...

5 正则化给参数增加惩罚项，达到简化假设函数，降低过拟合的目的5.1 正则化线性回归5.1.1 正则化代价函数(5.1)J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}+\lambda \sum_{j=...

6 决策树6.1 结构一个根节点：样本全集若干个内部结点：对应于属性测试若干个叶结点：决策结果属性代表了各个结点，各个结点的连接线代表属性的取值当第一层最优划分属性选取后，在划分后的D中进行递归，一层层选取最优划分属性，最后形成决策树只有一层划分的决策树称为决策树桩6.2 目的产生一颗泛化能力强，即处理未见示例能力强的决策树6.3 衡量划分属性的标准随着划分的不断进行，决...

7 神经网络解决特征数量过多，线性回归与逻辑回归算法参数过多的情况7.1 M-P神经元模型神经元接收其他n个神经元传递的输入信号，加权和作为总输入值，与神经元阈值比较，再通过激活函数处理产生神经元输出，激活函数为sigmoid函数，是设定在神经元上的函数，典型的激活函数为sigmoid函数7.2 感知机最简单的神经网络，输入层仅接收外界信号，输出层为M-P神经元，可容易实现逻辑与或非...

选择合适的特征向量从一个很简单的算法实现，交叉验证检验误差，作出学习曲线。看算法是否具有高偏差或高方差问题，再考虑是否选择增加特征量或者增加样本用实际证据来指导决策发现误差后，手动分析误差类别，判断什么特征导致的误差，对误差进行优先级排序，先解决最多数量的在交叉验证集上，为算法设定一个单一规则的数值评价指标进行评估，例如错误率。每次修改算法数值都能改变，帮助判断算法改进后的好坏程度...

9 支持向量机-SVM相比于神经网络，不用担心陷入局部最优问题，因为是凸优化9.1 支持向量机的假设函数(9.1)hθ(x)={1, if θTx≥00, other h_{\theta}(x)=\left\{\begin{array}{ll}{1,} & {\text { if } \theta^{T} x \geq 0} \\ ...

10 贝叶斯分类器10.1 朴素贝叶斯分类器假设所有属性相互独立(10.1)hnb(x)=arg⁡max⁡c∈YP(c)∏i=1dP(xi∣c)h_{n b}(\boldsymbol{x})=\underset{c \in \mathcal{Y}}{\arg \max } P(c) \prod_{i=1}^{d} P\left(x_{i} | c\right)\tag{10.1}hnb​...

12 聚类-无监督学习算法之一聚类试图将数据集中的无标记样本划分为若干个通常不相交的子集，每个子集称为一个簇(cluster)，每个簇可能对应于一些潜在的概念聚类算法的两个基本问题：性能度量和距离计算12.1 性能度量原则：同一簇样本尽可能相似，不同簇样本尽可能不同，即簇内相似度高 簇间相似度低将聚类结果与某个参考模型进行比较，称为外部指标直接考察聚类结果不利用任何参考模型，称为...

14 异常检测问题针对给出的样本构建一个模型，在模型范围内的样本点被认为是正常的，超出阈值的样本点被认为是异常的。14.1 算法实现一堆样本的每个特征量都对应一个均值和方差计算样本每个特征的均值和标准差利用高斯分布构建概率函数：p(x)=p(x1;μ1,σ12)p(x2;μ2,σ22)...p(xn;μn,σn2)p(x)=p(x_1;\mu_1,\sigma^2_1)p(x_2;...

16 大规模机器学习16.1 随机梯度下降-每次只取一个样本进行梯度下降作出cost函数图像出现平缓，则需改变特征或改变学习率16.2 Mini-Batch 梯度下降每次选取一定数量的样本进行梯度下降，当使用向量化方法并行计算时速度比随机梯度下降更快17 机器学习中的重要思想17.1 流水线-OCR需要文字检测 文字分割 文字识别三大部分17.1.1 文字检测/行人检测运用...