小白白

转自：https://www.2cto.com/net/201610/557111.html接触过神经网络的人都知道，网络的训练是其核心，本人在读书时接触的是BP神经网络，那时写的代码训练样本量不大，没有注意到题目所列出的这些训练方式，偶尔也曾看到了 “批量梯度下降”的名词，却并没有深入研究它的实现过程。样本是深度学习的主要学习来源，其样本量动则百十万个，再加上其结构和BP网络的不同，虽然在大理论...

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x

在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。　　　　随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练，在如今大数据大样本的的时代很有诱惑力

在Bagging与随机森林算法原理小结中，我们对随机森林(Random Forest, 以下简称RF）的原理做了总结。本文就从实践的角度对RF做一个总结。重点讲述scikit-learn中RF的调参注意事项，以及和GBDT调参的异同点。1. scikit-learn随机森林类库概述　　　　在scikit-learn中，RF的分类类是RandomForestClassifier，回归

1. scikit-learn决策树算法类库介绍　　　　scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对应的是DecisionTreeRegressor。两者的参数定义几乎完全相同，但是意义不全相同。下面就对DecisionTreeClassifi

在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可以用作分类，也可以用作回归。本文就对Adaboost算法做一个总结。1. 回顾boo

文章转自：http://www.cnblogs.com/pinard/p/6136914.html在集成学习之Adaboost算法原理小结中，我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结，重点对调参的注意事项做一个总结。1. Adaboost类库概述　　　　scikit-lear

作者 EdvardHua最近这段时间系统性的学习了BP算法后写下了这篇学习笔记，因为能力有限，若有明显错误，还请指出目录什么是梯度下降和链式求导法则神经网络的结构BP算法中的执行流程（前向传递和逆向更新）输出层和隐藏层权重以及偏置更新的推导Python 实现源码解析手写数字识别实例训练神经网络中有哪些难点（TODO）梯度下降和链式求导法则假设我们

原文转载自：http://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房

原文转自：点击打开链接介绍         CART是在给定输入变量X条件下，输出随机变量Y的条件概率分布的学习方法。         CART假设决策树是二叉树，内部节点特征取值为“是”或“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样决策树等价于递归的二分每个特征(即使数据有多个取值，也把数据分成两部分)         CA

文章参考自：http://blog.youkuaiyun.com/wzmsltw/article/details/51039928# -*- coding: utf-8 -*-"""Created on Wed Sep 27 14:52:51 2017@author: Administrator"""import matplotlib.pyplot as plt decisionNode