16网工姜泽毓的博客

机器学习三要素之间的关系模型机器学习的目的——模型（Model）机器学习训练的过程中所要学习的条件概率分布或者决策函数策略如何构造模型——策略（Strategy）就是使用一种什么样的评价度量模型训练过程中的学习好坏的方法，同时根据这个方法去实施的调整模型的参数，以期望训练的模型将来对未知的数据具有最好的预测准确度算法模型的实现——算法（Algorithm）是指模型的具体计算方法。它基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后考虑用什么样的计算方法去求解这个最优模型

交叉验证的方法留一验证解释:只从可用的数据集中保留一个数据点，并根据其余数据训练模型。此过程对每个数据点进行迭代，比如有n个数据点，就要重复交叉验证n次。例如下图，一共10个数据，就交叉验证十次图示如下:优点适合数据集量级较小因为利用了所有的数据点,因此偏差比较低缺点因为重复执行验证,执行时间比较长因为是数据点进行验证,如果数据点是离群值,那么模型的准确度就会大大受到影响K折交叉验证1.解释:进行多次train_test_split划分

机器学习三要素之间的关系模型机器学习的目的——模型（Model）机器学习训练的过程中所要学习的条件概率分布或者决策函数策略如何构造模型——策略（Strategy）就是使用一种什么样的评价度量模型训练过程中的学习好坏的方法，同时根据这个方法去实施的调整模型的参数，以期望训练的模型将来对未知的数据具有最好的预测准确度算法模型的实现——算法（Algorithm）是指模型的具体计算方法。它基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后考虑用什么样的计算方法去求解这个最优模型

生成式就是生成 (数据的分布) 的模型生成式求的是 (联合概率 即 P(X,Y) )直接对 联合分布概率< P(X,Y) > 进行建模常见生成式模型：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM等关注数据是如何产生的，寻找的是数据分布模型判别式判别 (数据输出量) 的模型判别式求的是 (后验概率 即 P(Y|X) )直接对 条件概率< P(Y|X) > 进行建模常见判别模型：线性回归、决策树、支持向量机SVM、k近邻、神经网络等关注的数据的差异

过拟合出现的原因及解决方案原因训练集的数量级和模型的复杂度不匹配 (训练集的数量级<模型的复杂度)训练集和测试集特征分布不一致训练集里的噪音数据干扰过大 (模型过分记住了噪音特征,反而忽略了真实的输入输出关系)构建特征时,构建了没有或者过多没有代表性的特征解决方案调小模型复杂度,使其适合自己的训练集 (缩小宽度 | 减小深度)增加训练集的数量参数太多,也会增加模型的复杂度,这里可以正则化,惩罚模型不要过度训练重新清洗数据,(例如:对缺失值 | 无效值) 等的处理