lemonade13的博客

本文是对陈天奇论文《XGBoost: A Scalable Tree Boosting System》的解读，也是对上一篇博文关于陈天奇slides：陈天奇slides：Introduction to Boosted Trees解读解读的补充和扩展，本文不赘述重复部分，建议阅读本篇前先阅读上篇博文。0.学习思路在论文的初始部分，作者列出的主要贡献：1.We design and ...

本文是对陈天奇关于Boosted Tree介绍slides的读后梳理。第一次读论文XGBoost: A Scalable Tree Boosting System的时候很懵逼，于是找到了这份slides，这里天奇大佬的介绍很细致，本篇将主要叙述slides中与BT原理直接相关的内容。0.BT的学习思路1.我们想要学习什么：模型，目标。2.如何学习：优化方法。3.trade-o...

本文是对阅读论文《Greedy function approximation - A gradient boosting machine》总结，将对论文原文的关键部分进行梳理，主要内容包括5个部分：第一部分背景和相关工作，主要介绍最速下降和加性扩展。第二部分主要思想 ，内容包括：级联函数，带参函数在数值空间的优化，有限集上的SGD，GB的一般套路，GB的算法通用框架，不同损失函数的GB。...

本文是对阅读论文《Regression shrinkage and selection via the lasso》总结，将对论文原文的关键部分进行梳理，主要内容包括4个部分：第一部分背景，对论文中省略的背景作出解释。第二部分lasso的介绍，对论文中lasso给出自己的理解。第三部分lasso重要过程推导，对论文中lasso相关公式中，较难理解的部分进行推导。第四部分结论，看完论...