
机器学习
文章平均质量分 63
ITYTI
这个作者很懒,什么都没留下…
展开
-
梯度下降算法
梯度下降法(gradient descent)是一个最优化算法,常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 梯度下降的损失函数是通过迭代法一步步求解,得到最优解。1.假设函数2.代价函数的公式3. 损失函数的可视化图4.批量梯度下降公式(BGD) 其中a为学习率如果a太大,那么梯度下降算法可能汇越过最低点,甚至...原创 2018-09-05 22:10:36 · 560 阅读 · 0 评论 -
信息(information)、熵(entropy)、信息增益(information gain)、基尼指数(Gini index)的概念
关于对信息、熵、信息增益是信息论里的概念,是对数据处理的量化,这几个概念主要是在决策树里用到的概念,因为在利用特征来分类的时候会对特征选取顺序的选择,这几个概念比较抽象,我也花了好长时间去理解(自己认为的理解),废话不多说,接下来开始对这几个概念解释,防止自己忘记的同时,望对其他人有个借鉴的作用,如有错误还请指出。1、信息这个是熵和信息增益的基础概念,我觉得对于这个概念的理解更应该把他认为...转载 2019-06-25 21:08:00 · 5954 阅读 · 0 评论