jone5679的博客

前言：本文是对机器学习基础算法的知识点整理，部分知识点附了参考材料。欢迎关注知乎专栏https://zhuanlan.zhihu.com/c_1072857204125765632涉及深度学习 机器学习 自然语言LR 的推导LR特性优点：1、实现简单 容易大规模应用 2、可用l2正则处理特征共线性问题 3 输出是0-1之前的连续值 作为观测样本概率输出 缺点：1、对高维分...

本文包含关键计算式：逻辑回归的目标函数 模型训练方法：如何逼近最大值不包含详细的公式推导 各种证明似然函数表示如下，其中y是样本标签，只有0，1两种情况。x表示观测到的样本特征。P是概率函数。在逻辑回归中采用了sigmod函数似然函数最大值求解在求解一个函数的最大值很容易想到,导数为0的时候，目标函数最大。可惜，这种方式是行不通的。于是，go on。逻辑回归采...

本文包含xgboost在gbdt基础上的重要改进 xgboost的缺点 LightGBM在gbdt上的差异化实现 直方图算法 （从源码角度详细解读） leaf-wise 本文不包含各种框架优化的原理论证xgboost和 LightGBM是gbdt的两种实现框架。在项目实践和面基中都是经常碰到的。gbdt是boosting方式训练的base model，而xgbo...

百试不爽系列会按照如下节奏进行更新 标题 内容 完成情况 逻辑回归（Logistic Regression） 本文包含 关键计算式：逻辑回归的目标函数 模型训练方法：如何逼近最大值 不包含 详细的公式推导 各种证明 done ...

本文包含xgboost的整体训练过程 每次迭代，树的生成过程 叶子分裂过程做详尽的公式说明本文不包含xgboost在实现上的并行计算优化（感兴趣的可以一起阅读源码交流）gbdt是一种boosting方式集成弱学习器的模型，这里的弱学习器是CART, xgboost基于gbdt进行了改进，使得这种boosting算法在模型的预估效果上和训练的效率上都得到了提升。一、整...

本文包含逻辑回归的详尽公式推导。从似然函数=》对数似然=》梯度下降本文不包含为什么这么求解。详见机器学习百试不爽（一）逻辑回归参考https://tech.meituan.com/2015/05/08/intro-to-logistic-regression.htmlhttps://blog.youkuaiyun.com/zouxy09/article/details/20...