m0_47411878的博客

原文链接：https://zhuanlan.zhihu.com/p/147297924

从集成学习到模型的偏差和方差的理解https://blog.youkuaiyun.com/xmu_jupiter/article/details/47314927

L1正则化和L2正则化：https://zhuanlan.zhihu.com/p/35356992

    在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式就可以确定。经验风险最小化的策略认为，经验风险最小的模型是最优的模型。根据这一策略，按照经验风险最小化求解最优模型就是求解最优化问题：    当样本容量足够大时，经验风险最小化能保证很好的学习效果，在现实中被广泛采用。比如，极大似然估计就是经验风险最小化的一个例子。当模型是条件概率分布，损失函数是对数函数时，经验风险最小化就等价于极大似然估计。但是，当样本

总结一下：欠拟合：泛化能力差，训练样本集准确率低，测试样本集准确率低。过拟合：泛化能力差，训练样本集准确率高，测试样本集准确率低。合适的拟合程度：泛化能力强，训练样本集准确率高，测试样本集准确率高欠拟合原因：1.训练样本数量少2.模型复杂度过低3.参数还未收敛就停止循环欠拟合的解决办法：1.增加样本数量2.增加模型参数，提高模型复杂度3.增加循环次数4.查看是否是学习率过高导致模型无法收敛过拟合定义：模型在训练集上的表现很好，但在测试集和新数据上的表现很差。过拟合原因1.模型.

SVM线性可分支持向量机一.线性可分二.间隔1.函数间隔2.几何间隔3.两者关系三.硬间隔最大化1.约束最优化问题2.线性可分支持向量机3.支持向量和间隔边界4.对偶算法线性支持向量机1.软间隔最大化![在这里插入图片描述](https://img-blog.csdnimg.cn/77c3873db86d43c1ad379681679baec9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NE

参数估计方法最大似然估计MLE最大后验概率估计MAP贝叶斯估计三者区别最大似然估计MLE贝叶斯公式：这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做由于有连乘运算，通常对似然函数取对数计算简便，即对数似然函数。最大似然估计问题可以写成以扔硬币的伯努利实验为例子，N次实验的结果服从二项分布，参数为P，即每次实验事件发生的概率，不妨设为是得到正面的概率。为了估计P，采用最大似然估

决策树一.原理1.学习算法定义2.树停止的条件3.采用启发式方法的原因二.特征选择1.定义2.准则3.信息增益（互信息）4.信息增益算法5.信息增益存在的问题6.信息增益比三.决策树的剪枝1.防止过拟合：2.预剪枝：3.后剪枝：4.两者比较：*缺失值处理四.决策树优缺点优点缺点一.原理1.学习算法定义启发式方法，递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程2.树停止的条件（1）当前节点包含的样本全属于同一类别，无需划分（2）当前属性集为空，或所有样本

朴素贝叶斯算法一.基本方法1.给定训练数据集2.学习先验概率分布3.学习条件概率分布4.进行条件独立性假设5.以后验概率最大的类输出二.参数估计--最大似然1.先验概率2.条件概率三.算法流程四.贝叶斯估计五.优缺点1.主要优点2.主要缺点一.基本方法1.给定训练数据集2.学习先验概率分布3.学习条件概率分布4.进行条件独立性假设条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的5.以后验概率最大的类输出二.参数估计–最大似然学习意味着估计类的先验概率和条件概率1.