flydreamforever的专栏

基本流程     决策树（decision tree）是一类常见的机器学习方法。决策过程中提出的每个判定问题都是对某个属性的“测试”，每个测试结果或是导出最终结论，或是导出进一步的判定问题，其考虑范围是在上一次决策结果的限定范围内。     一般的，一棵决策树包含一个根结点，若干个内部结点和若干个叶节点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试。     决策树学习的目的

前言最近在学习SVM的时候发现想要了解SVM的前提是必须得了解拉格朗日乘子法和KKT条件。为此，在花时间了解了拉格朗日乘子法和KKT条件之后在此说说自己的理解，顺便记录下自己的学习过程。 第一次接触拉格朗日乘子法是在高数课上求解在一定等式约束条件下的函数极值问题。当时只知道稀里糊涂的如何去用，从来都没有想过为什么要这样去做。总的来说，拉格朗日乘子法（Lagrange multipliers）是一种

1.简介在机器学习中，我们一般要处理的问题就是预测问题。对于离散值的预测我们叫分类(classification)，而对于连续值的预测我们就叫做回归(regression)。而在所有机器学习模型中，最基础也是最重要的模型就是线性模型，今天我们就说下机器学习中的线性模型。

简介最近要用到xgboost，但是python的官网并没有直接提供windows版本。其github源码 听说为了方便版本控制，删除了之前的window分支，统一使用CMake进行版本控制，因此在window平台上装xgboost Python安装包就比以前稍微麻烦了点，下面将提供两种方式可以安装xgboost，第一种方式不需要本地编译，第二种方式需要下载源码进行本地编译。依赖包在安装xgboost

一． XGBoost简介 XGBoost(eXtreme Gradient Boosting)是基于GB（Gradient Boosting）模型框架实现的一个高效，便捷，可扩展的一个机器学习库。该库先由陈天奇在2014年完成v0.1版本之后开源到github[1]上，当前最新版本是v0.6。

在上一篇《XGBoost源码阅读笔记(1)--代码逻辑结构》中向大家介绍了XGBoost源码的逻辑结构，同时也简单介绍了XGBoost的基本情况。本篇将继续向大家介绍XGBoost源码是如何构造一颗回归树，不过在分析源码之前，还是有必要先和大家一起推导下XGBoost的目标函数。本次推导过程公式截图主要摘抄于陈天奇的论文《XGBoost：A Scalable Tree Boosting Sys