铭宇要做后台攻城狮

*1.1 引言**1.2 基本术语*关键字：数据集、样本（特征向量）、属性、属性值、属性空间（输入空间）、样本的维数、训练数据（训练集）、假设、真实、标记、标记空间（输出空间）、分类、回归、二分类、正类反类、多分类、测试样本、、聚类、簇、监督学习、无监督学习、泛化能力、独立同分布关键概念解释：1.分类对应离散预测，回归对应连续预测2.根据训练数据是否拥有标签信息，学习任务分为监督学习（如分类和回归...

*2.1 经验评估与选择*关键字：错误率、精度、误差、、训练误差（经验误差）、泛化误差、关键概念解释：1.欠拟合解决方案：决策学习树中扩展分支、增加训练轮数*2.2 评估方法*关键字：测试集、留出法、交叉验证法（K折交叉验证）、自助法、参数调节关键概念解释：1.测试集应该尽可能与训练集互斥2.留出法：直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T3.交叉验证法：先...

3.1 基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数 线性模型优点：（1）形式简单，易于建模（2）可解释性非线性模型可以通过引入层次结构或高维映射而得3.2 线性回归线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记最小二乘法：令均方误差最小（欧氏距离），来确定w和b得到此时w和b的值（闭式解）对于多元线性回归，同样可用最小二乘估计若可逆其中若不可逆，有多个解，通过正则化...

4.1 基本流程 决策树的组成： 每个内部节点对应于某个属性上的测试 每个分支对应于该测试的一种可能结果 每个叶节点对应于一个预测结果 决策树的学习目的： 产生一棵泛化能力强，即处理未见示例能力强的决策树 策略： 分而治之，从根节点开始自至叶的递归过程，在每个中间节点寻找一个划分属性。 三种停止条件： （1）当前节点包含的样本全属于同一类别 （2）当前属性集为空或所有样本在所...

6.1 间隔与支持向量 超平面：决策平面 支持向量：距离超平面最近得几个训练样本 最大化间隔，SVM（支持向量机）的基本型： 6.2 对偶问题 通过拉格朗日乘子法得到对偶问题： 拉格朗日乘子法需满足KKT条件 支持向量机解的稀疏性：训练完成后，大部分的训练样本都不需保留，最终模型仅与支持向量有关。 没用公式求解b，利用支持向量去求解 最终解： 求解拉格朗日乘子（...

10.1 k近邻学习 工作机制： k近邻是懒惰学习的代表，没有显式的训练过程，和 急切学习 相反 K近邻学习受k值和距离计算方式的影响 当k=1,分析错误率，即最近邻分类器 10.2 低维嵌入 维数灾难： 在高维情况下出现的数据样本稀疏，距离计算困难等问题 解决方案： 降维，通过某种数学变换，将原始高维属性空间转变为一个低维子空间，在这个子空间中样本密度大幅度提高，距...

9.1 聚类任务 9.1 聚类任务 聚类试图将数据集中的样本划分为若干个通常是不相交的子集 聚类既能作为一个单独的过程，用于寻找数据内在的分布结构，也可作为分类等其他学习任务的前驱过程。 基本思想：给定一个有N个对象的数据集，划分聚类技术将构造数据的K个划分，每一个划分代表一个蔟，K小于等于n，对于给定的k，算法首先给出一个初始的划分方法，以后通过反复迭代的方法改变划分，使得每一次改进之后...

8.1 个体与集成 集成学习通过构建并结合多个学习器来提升性能 弱学习：泛化性能略高于50%的分类器 强学习：由弱学习提升而来 集成的结果通过投票产生 集成个体应好而不同 在一定条件下，随着集成分类器数目增加，集成的错误率将指数级下降，最终趋于0. 而学习器显然不可能互相独立。集成学习大致就可以分为两类： 存在强依赖关系，必须串行生成的序列化方法（boosting） 不存在强...

5.1 神经元模型 M-P模型 激活函数：sigmoid函数5.2 感知机与多层网络 感知机 感知机学习 单层感知机只能解决线性可分问题，对于非线性可分问题，使用多层感知机 多层前馈神经网络（MLP） 5.3 误差逆传播算法（BP算法） 缓解过拟合 5.4 全局最小和局部最小 5.5 其他常见神经网络 Boltzmann...