beckham999221的专栏

一、基本概念k近邻法（k-nearest neighbor, k-NN）是一种基本分类与回归方法，由Cover和Hart于1968年提出。分类时，对于新的实例，根据与它最接近的k个训练实例的类别，通过多数表决等方式，进行预测。对于给定的训练集，当k值，距离度量和分类决策规则（统称三要素）确定后，基于k近邻法的模型就已经确定了。所以，它实际上利用训练集对特征向量空间进行划分，并没有显示的学习过程。k...

一、算法介绍RF（Random Forest）、GBDT（Gradient Boosting Decision Tree）和XGBoost（eXtreme Gradient Boosting）都属于机器学习中的集成学习（ensemble learning）。集成学习：通过构建并结合多个学习机器来完成学习任务，有时也被成为多分类器系统（mutil-classifier system）、基于委...