weixin_42392461的博客

理解梯度下降 最优化问题 导数与梯度 推导过程 实现细节问题

1.逻辑回归与线性回归的联系与区别 2.逻辑回归的原理 3.逻辑回归损失函数推导及优化 4.正则化与模型评估指标 5.逻辑回归的优缺点 6.样本不均衡问题解决办法 7.sklearn参数 一 .逻辑回归与线性回归的联系与区别 逻辑回归(Logistic Regression)与线性回归(Linear Regression)都属于广义线性回归模型。 在分类问题中，预测属于某类的概率，可以看成回归问题...

逻辑斯蒂回归 支持向量机 决策树 AdaBoost 算法 梯度提升决策树 GBDT 机器学习实践

一：目标函数 训练损失和正则化项两部分 （1）L:代表损失函数，常见的损失函数 平方损失函数： 逻辑回归损失函数： （2）y^ : xgboost是一个加法模型，因此预测得分是每棵树打分之和。 （3）正则项：k棵数的复杂度之和。 第t棵树 第t次迭代驯练的模型是ft(x) 泰勒展开式 x 对应前t-1棵数，^x相当于第t棵树。 定义损失函数关于y’(t-1)的一阶偏导数 gi 和二阶偏导数hi...

一、决策树 选择特征来分割 分割方法：ID3、C4.5、CART 1.ID3：信息增益来选择最优分割 ID3偏向取值较多的属性，例如ID列 2.C4.5:信息增益率选择最优分割 信息增益 / IV 属性A的特征个数越多，IV越大。信息增益率又会偏向较少的特征。C4.5先找出信息增益高于平均水平的属性，再从中选择增益率最高的。 对于连续属性采用二分法，从小到大排序，中间值作为分割点，计算信息增益率，...

随机森林算法梳理 集成学习的概念 集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛...