qq_41973062的博客

《机器学习》(周志华)西瓜书读书笔记(完结) - Limitlessun - 博客园 (cnblogs.com)《统计学习方法》(李航)读书笔记(完结) - Limitlessun - 博客园 (cnblogs.com)Kaggle新手入门之路(完结) - Limitlessun - 博客园 (cnblogs.com)...

最近想全面地再从头熟悉一遍基础知识，所以有了这个系列，方便自己后面看的时候抓重点。目录1、假设空间2、没有免费的午餐（NFL)3、归纳偏好4、发展历程1、假设空间假设空间的大小等于其中features表示特征i的取值个数。2、没有免费的午餐（NFL)意味着如果所有问题出现的机会相同，或所有问题同等重要，那么任意两个学习算法的期望性能相同。3、归纳偏好归纳偏好意味着在假设空间中在训练集上并不是等效的。4、发展历程机械学习：死记硬背式学习，没有真.

1、经验误差与过拟合经验误差及训练误差，我们最终的目标是在新样本上的泛化误差最小，但由于事先不知道新样本是什么样，只好努力使经验误差即训练误差最小化。然而会出现过拟合，且过拟合是无法避免的：机器学习面临的问题通常是NP难甚至更难，而有效的学习算法必然是在多项式时间内运行完成，若可彻底避免过拟合，则通过经验（训练）误差最小化就能获得最优解，这就意味着我们构造性地证明了“P=NP”；因此，只要相信“P≠NP”，过拟合就不可避免。2、评估方法留出法：直接将数据集划分为训练集和验证集，为保持分布一致

1、机器学习分类监督学习无监督学习强化学习2、统计学习方法三要素方法=模型+策略+算法模型策略算法//大多数机器学习算法都会先做一个模型的假设。在这个假设的基础上，选择一个损失函数(或者说误差度量)，用以度量机器学习模型的好坏。然后再选择模型空间，也就是你打算在什么样的空间里面搜索问题的解。有了损失函数和模型空间，就可以定义一个优化问题。最后，再设计优化算法求解优化问题，从模型空间中搜索出最优解即可。3、泛化能力

特征缩放的几种方法：转载：https://www.cnblogs.com/HuZihu/p/9761161.html感谢作者。（1）最大最小值归一化（min-max normalization）：将数值范围缩放到[0,1]区间里（2）均值归一化（mean normalization）：将数值范围缩放到[-1,1]区间里，且数据的均值变为0（3）标准化 /z值归一化（standardization /z-scorenormalization）：将数值缩放...