从此醉

本文首先分类介绍主客观赋权法，然后简述四种客观赋权法的算法步骤，分别给出python代码。

Kaggle中的电信用户流失数据集分析

时间序列的预测问题，主要注意时间序列特征的构造，数据预处理。

机器学习系列（14）——Kaggle项目之Titanic文章目录机器学习系列（14）——Kaggle项目之Titanic0x01、项目介绍0x02、学习过程简述0x03、数据探索与分析1、数据探索2、分析过程0x03、预处理0x04、第一个模型0x05、模型优化0x05、模型融合参考文献0x01、项目介绍学习了各种机器学习算法之后，可以找一个简单项目来练练手，感受一下完整的ML过程。Titanic是Kaggle的入门项目，网上可以找到很多资料，所以选择它作为第一个练手的项目。（记录一下哈哈哈，截止到2

本文介绍K均值（KMeans）聚类算法。0x01、K均值聚类简介K均值聚类是基于样本集合划分的聚类算法。K均值聚类将样本集合划分为K个子集，构成K个类，将n个样本分到K个类中，每个样本到其所属类的中心的距离最小。每个样本只能属于一个类，所以K均值聚类是硬聚类。1、模型0x020x030x04...

本文介绍聚类的基础知识和层次聚类算法。0x01、聚类的基本概念聚类是针对给定的样本，依据它们特征的相似度或距离，将其归并到若干个“类”或“簇”的数据分析问题。一个类是给定样本集合的一个子集。直观上，相似的样本聚集在相同的类，不相似的样本分散在不同的类。这里，样本之间的相似度或距离起着重要作用。聚类的目的是通过得到的类或簇来发现数据的特点或对数据进行处理，在数据挖掘、模式识别等领域有着广泛的应用。聚类属于无监督学习，因为只是根据样本的相似度或距离将其进行归类，而类或簇事先并不知道。常用的聚类.

逻辑回归

本文介绍感知机模型和算法。0x01、感知机简介感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为示例的类别，取+1、-1 二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机算法简单而易于实现，分为原始形式和对偶形式。感知机预测时用学习得到的感知机模型对新的输入实例进行分类。它是神经.

GBDT

本文介绍模型评估与性能度量方法。0x01、经验误差与过拟合0x02、0x03、0x04、

本文介绍k近邻法（k-nearest neighbor, k-NN）0x01、k近邻法简介k近邻法是基本且简单的分类与回归方法。k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类的多数来预测输入实例点的类。k近邻模型对应于基于训练数据集对特征空间的一个划分，k近邻法中，当训练集，距离度量，k值及分类决策规则确定后，其结果唯一确定。常用的距离度量是欧氏距离及更一般的 距离。k 值小时，k近邻模型更复杂，k值大时，k近..

本文介绍朴素贝叶斯分类器算法，及其在sklearn中的实现。0x01、朴素贝叶斯法简介朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。（1）朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 ，然后求得后验概率分布 。具体来说，利用训练数据学习 和 的估计，得到联合概率分布：。概率估计...

本文介绍支持向量机（SVM）的算法，及其在sklearn中的实现。0x01、支持向量机（SVM）简介支持向量机（support vector meahines，SVM）是一种二分类模型。它的基本模型是定义在特定空间上的间隔最大的线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。支持向量机的学习方法包含构建由.

CART（Classification and Regression Tree，分类与回归树）算法

文章目录0x01、决策树的基本概念1.1 Hunt算法1.2 决策树归纳的设计问题1.3 决策树归纳算法的框架0x02、决策树的过拟合2.1 泛化误差估计2.2 过拟合的处理方法0x03、评估分类器的性能0x04、决策树的总结4.1 决策树算法的要点4.2 算法比较4.3 决策树算法的优缺点参考资料本文主要是对决策树的概念性的归纳和总结。0x01、决策树的基本概念决策树是一种由结点和有向边组成的层次结构。树中包含三种结点：根结点、内部结点和叶结点。决策树通常采用贪心策略，在选择划分数据的属性时，采取

XGBoost

GBDT（Gradient Boosting Decision Tree， 梯度提升树）

GBDT（Gradient Boosting Decision Tree, 梯度提升决策树）是很流行的