aaa_aaa1sdf的博客

为什么梯度下降能找到函数的极值及相应的参数？   本文按机器学习对凸函数的定义（来源于国外的说法）形如“U"的为凸函数，形如“^”的为凹函数。   根据微积分知识： 如果一个函数f(x)为凸函数（国内高等数学的凹函数），即其二阶导数>0，那么在它的定义域内一定有且只有一个极小值； 一个函数在其某一点的梯度方向上增加的最快，在其负梯度方向上减小的最快； 梯度下降算法是一种局部优化...

转载：http://dataunion.org/15787.html 作者：陈天奇，毕业于上海交通大学ACM班，现就读于华盛顿大学，从事大规模机器学习研究。 注解：truth4sex  编者按：本文是对开源xgboost库理论层面的介绍，在陈天奇原文《梯度提升法和Boosted Tree》的基础上，做了如下注解：1）章节划分；2）注解和参考链接（以蓝色和红色字体标注）。备注：图片可点击查看清...