julinglan7642的博客

RandomForestClassifier # -*- coding: utf-8 -*- import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt import csv from sklearn.model_selection import train_test_split # 数据分割 from sklearn.preprocessing import Impute

一、聚类分析 聚类分析是根据在数据中发现的描述对象（数据）及其关系的信息，将数据划分成有意义或有用的组（簇）。其目标是： 组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）； 组内的相似性（同质性）越大，组间差别越大，聚类就越好。 二、不同的聚类类型 1层次的（嵌套的）与划分的（非嵌套的） 划分聚类：简单地将数据对象集划分成不重叠的子集（簇），是的每个数据对象恰在一个子集中 层次聚类：允许簇具有子簇；层次聚类是嵌套簇的集合，组成一棵树 2互斥的、重叠的与模糊的 互斥的：每个对象都指派

前言 前面我们介绍了使用 Boosting 思想的 AdaBoost ，它是通过前一轮决策的结果来给样本设置权重，决策正确的权重减小，决策错误的权重增加；然后将加权后的数据集输入下一个弱学习器训练，直到达到训练停止条件。 Boosting 思想的GBDT、XGBoost，在目前的竞赛和工业界中使用非常频繁，能够有效的应用到分类、回归，更是因为近几年被应用于构建搜索排序的机器学习模型而引起广泛关注。虽然用起来不难，但是要想完整理解它的原理及推导不是那么容易，本篇尽可能通过简单的方式来介绍。 一、提升树模型 提

对于 Bagging 思想集成的随机森林，是可以并行训练的，正是因为每个弱分类器之间不相互影响；而 Boosting 是通过串行训练而获得的，每个分类器要根据以前训练出的分类器的性能来进行训练。 Boosting 常用模型： AdaBoost Gradient Boosting（GBT/GBDT/GBRT） XGBoost 二、AdaBoost 1、AdaBoost 执行过程 AdaBoost 是一种迭代算法，整个迭代过程直到错误率足够小或者达到一定的迭代次数为止；每轮迭代中会在修改后的训练集上产生一个新