机器学习之基础算法（提升）-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41514914/article/details/105561809

这篇博客深入探讨了机器学习中的提升方法，包括梯度提升决策树（GBDT）的算法推导，XGBoost的决策树描述和正则项定义，以及Adaboost的实例分析。文章分为理论介绍和代码实践两个部分，全面解析了这些提升算法的基础和应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一部分提升

提升的概念

加粗样式

梯度提升方法 GBDT

梯度提升算法推导

在这里插入图片描述

总结

在这里插入图片描述

XGBoost

决策树的描述

在这里插入图片描述

正则项的定义

在这里插入图片描述

XGBoost算法的推导

在这里插入图片描述

总结

在这里插入图片描述

Adaboost

在这里插入图片描述

举例

在这里插入图片描述

e2是误分点的权重之和

总结

在这里插入图片描述

第二部分代码示例

# /usr/bin/python
# -*- encoding:utf-8 -*-

import xgboost as xgb
import numpy as np

# 1、xgBoost的基本使用
# 2、自定义损失函数的梯度和二阶导
# 3、binary:logistic/logitraw


# 定义f: theta * x
def log_reg(y_hat, y):
    p = 1.0 / (1.0 + np.exp(-y_hat))
    g = p - y.get_label()
    h = p * (1.0-p)
    return g, h


def error_rate(y_hat, y):
    return 'error', float(sum(y.get_label() != (y_hat > 0.5))) / len(y_hat)


if __name__ == "__main__":
    # 读取数据
    data_train = xgb.DMatrix('agaricus_train.txt')
    data_test = xgb.DMatrix('agaricus_test.txt')
    print data_train
    print type(data_train)

    # 设置参数
    param = {
   'max_depth': 3, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'} # logitraw
    # param = {'max_depth': 3, 'eta': 0.3, 'silent': 1, 'objective': 'reg:logistic'}
    watchlist = [(data_test, 'eval'), (data_train, 'train')]
    n_round = 7
    # bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist)
    bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist, obj=log_reg, feval=error_rate)

    # 计算错误率
    y_hat = bst.predict(data_test)
    y = data_test.get_label()
    print y_hat
    print y
    error = sum(y != (y_hat > 0.5))
    error_rate = float(error) / len(y_hat)
    print '样本总数：\t', len(y_hat)
    print '错误数目：\t%4d' % error
    print '错误率：\t%.5f%%' % (100*error_rate)

# /usr/bin/python
# -*- encoding:utf-8 -*-

import numpy as np
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split   # cross_validation


def iris_type(s):
    it = {
   'Iris-setosa': 0, 'Iris-versicolor': 1, 'Iris-virginica': 2}
    return it[s]


if __name__ == "__main__":
    path = u'..\\8.Regression\\iris.data'  # 数据文件路径
    data = np.loadtxt