zhizhong0209的博客

集成学习介绍一下Boosting的思想？最小二乘回归树的切分过程是怎么样的？有哪些直接利用了Boosting思想的树模型？gbdt和boostingtree的boosting分别体现在哪里？gbdt的中的tree是什么tree？有什么特征？常用回归问题的损失函数？常用分类问题的损失函数？什么是gbdt中的损失函数的负梯度？如何用损失函数的负梯度实现gbdt？拟合损失函数的负梯度为什么是可行的？即便拟合损失函数负梯度是可行的，为什么不直接拟合残差？ 拟合负梯度好在哪里？Shrinkage收缩的作用？featu

聚类请问从EM角度理解kmeans?为什么kmeans一定会收敛?kmeans初始点除了随机选取之外的方法？请问从EM角度理解kmeans?k-means是两个步骤交替进行，可以分别看成E步和M步M步中将每类的中心更新为分给该类各点的均值，可以认为是在「各类分布均为单位方差的高斯分布」的假设下，最大化似然值；E步中将每个点分给中心距它最近的类（硬分配），可以看成是EM算法中E步（软分配）的近似为什么kmeans一定会收敛?M步中的最大化似然值，更新参数依赖的是MSE，MSE至少存在局部最优解

支持向量机简单介绍SVM?什么叫最优超平面？什么是支持向量？SVM 和全部数据有关还是和局部数据有关?加大训练数据量一定能提高SVM准确率吗？如何解决多分类问题？可以做回归吗，怎么做？SVM 能解决哪些问题？介绍一下你知道的不同的SVM分类器？什么叫软间隔？SVM 软间隔与硬间隔表达式SVM原问题和对偶问题的关系/解释原问题和对偶问题？为什么要把原问题转换为对偶问题？为什么求解对偶问题更加高效？alpha系数有多少个？KKT限制条件，KKT条件有哪些，完整描述引入拉格朗日的优化方法后的损失函数解释核函数的作

随机森林解释下随机森林?随机森林用的是什么树？随机森林的生成过程？解释下随机森林节点的分裂策略？随机森林的损失函数是什么？为了防止随机森林过拟合可以怎么做?随机森林特征选择的过程？是否用过随机森林，有什么技巧?RF的参数有哪些，如何调参？RF的优缺点 ？解释下随机森林?随机森林=bagging+决策树随机：特征选择随机+数据采样随机特征随机是在决策树每个结点上选择的时候随机，并不是在每棵树创建的时候随机每个结点上对特征选择都是从全量特征中进行采样对，不会剔除已利用的数据采样，是有放回的采样

决策树常见决策树简述决策树构建过程详述信息熵计算方法及存在问题详述信息增益计算方法详述信息增益率计算方法解释Gini系数ID3存在的问题C4.5相对于ID3的改进点CART的连续特征改进点CART分类树建立算法的具体流程CART回归树建立算法的具体流程CART输出结果的逻辑？CART树算法的剪枝过程是怎么样的？树形结构为何不需要归一化？决策树的优缺点常见决策树模型ID3C4.5CART结构多叉树多叉树二叉树特征选择信息增益信息增益率Gini系数/均方差连续

逻辑回归logistic分布函数和密度函数，手绘大概的图像LR推导，基础5连问梯度下降如何并行化？LR明明是分类模型为什么叫回归？为什么LR可以用来做CTR预估？满足什么样条件的数据用LR最好？LR为什么使用sigmoid函数作为激活函数？其他函数不行吗？利用几率odds的意义在哪？Sigmoid函数到底起了什么作用？LR为什么要使用极大似然函数，交互熵作为损失函数？那为什么不选平方损失函数的呢LR中若标签为+1和-1，损失函数如何推导？如果有很多的特征高度相关或者说有一个特征重复了100遍，会造成怎样的影

这里写目录标题损失函数是啥最小二乘/梯度下降手推介绍一下岭回归什么时候使用岭回归？什么时候用Lasso回归？损失函数是啥mse,最小均方误差:最小二乘/梯度下降手推最小二乘损失函数：求导可得：使右侧为0可得：如果X点乘X的转置可逆则有唯一解，否则无法如此求解梯度下降损失函数：求导可得梯度：介绍一下岭回归加上l2的线性回归：在用最小二乘推导的过程和上面一样，最后在结果上进行了平滑，保证有解：什么时候使用岭回归？样本数少，或者样本重复程度高什么时候用Las

贝叶斯解释一下朴素贝叶斯中考虑到的条件独立假设讲一讲你眼中的贝叶斯公式和朴素贝叶斯分类差别朴素贝叶斯中出现的常见模型有哪些出现估计概率值为 0 怎么处理朴素贝叶斯的优缺点？朴素贝叶斯与 LR 区别？解释一下朴素贝叶斯中考虑到的条件独立假设讲一讲你眼中的贝叶斯公式和朴素贝叶斯分类差别贝叶斯公式是完整的数学公式P(A/B) = P(A)P(B/A)/P(B)朴素贝叶斯 = 贝叶斯公式 + 条件独立假设，在实际使用过程中，朴素贝叶斯完全只需要关注P(A,B)=P(A)P(B/A)即可朴素贝叶斯中出现的