qq_38489833的博客

L1和L2正则化： 我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。 结构风险最小化： 在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。 那现在我们就看看加了L1正则化和L2正则化之后，目标函数求解的时候，最终解有什么变化。 图像解释（假设X为一个二维样本，那么要求解参数 [公式] 也是二维）： 1. L1正则化和L2正则化的区别？ L1会趋向于产生少量的特征，而其他的特征都是零，因为最优的参数

对LR进行扩展，因子分解机（Factorization Machine，FM）是对LR算法的扩展。FM模型是一种基于矩阵分解的机器学习模型，对于稀疏数据具有很好的学习能力； 对于因子分解机FM来说，最大的特点是对于稀疏的数据具有很好的学习能力。 FM解决了LR泛化能力弱的问题，其目标函数如下所示： ...

集成学习 Boosting: 串行方式训练基分类器, 各分类器之间有强依赖关系。基本思想是基分类器层层叠加， 每一层基分类器在训练的时候， 对前一层基分类器分错的样本给与更高的权重。 最后的结果由根据各层分类器的结果加权得到。 Bagging: 各分类器之间无依赖， 可以使用并行的方式。基本思想是， 各个个体分而治之， 独立作出判断， 在通过投票的方式，做出最后的决策。 偏差： 偏差是指由有所采样得到的大小为m的训练数据集，训练出的所有模型的输出的平均值和真实模型输出之间的偏差 方差： 所有采样得到的大小为

EM期望最大算法 （仅自学记录使用， 如果侵权删除） 参考文献： https://www.bilibili.com/video/av31950221/（机器学习白板推导）

降维算法分为： 1.直接降维， 特征选择 2. 线性降维， PCA， MDS等 3. 分流线， 流线包括lsomap , LLE等 降维的目的： 1. 减少预测变量的个数 2. 确保这些变量是相互独立的 3. 数据在低纬度时候更容易处理， 更容易使用 4. 去除噪数据噪声 5. 降低算法的运算开销 1. 线性判别分析LDA LDA的 核心思想就是投影后类内方差小， 类间方差最大 LDA算法的优缺点： 优点： 可以使用类别的先验知识 以标签， 类别衡量差异性的 有监督降维算法， 相对于PCA的模糊性，

1. 简单介绍SVM（详细原理） （回答的思路：从分类平面，到求两类间的最大间隔，到转化为求间隔分之一，等优化问题，然后就是优化问题的解决办法，首先是用拉格拉日乘子把约束优化转化为无约束优化，对各个变量求导令其为零，得到的式子带入拉格朗日式子从而转化为对偶问题， 最后再利用SMO（序列最小优化）来解决这个对偶问题。svm里面的c有啥用） 个人理解：SVM又叫最大间隔分类器，最早用来解决二分类问题。SVM有三宝，间隔， 对偶 ，核技巧。**** 1.1间隔： 1.1.1 hard-margin svm (数据

**Kmeans面试常见问题汇总 1.K-means的伪代码： 2.K-means中常用的到中心距离的度量有哪些？ 3.K-means聚类中每个类别中心的初始点如何选择？ 1）随机法 最简单的确定初始类簇中心点的方法是随机选择K个点作为初始的类簇中心点。 2）选择各批次距离尽可能远的k个点，首先随机选择一个点作为第一个初始类簇中心点，然后选择距离该点最远的那个点作为第二个初始类簇中心点，然后再选择距离前两个点的最近距离最大的点作为第三个初始类簇的中心点，以此类推，直到选出k个初始类簇中心。 3）层次聚类