数据掘金

目录广义线性模型极大似然法逻辑回归的假设函数逻辑回归的损失函数为什么LR模型损失函数使用交叉熵不用均方差交叉熵损失函数交叉熵损失函数的数学原理交叉熵简介交叉熵损失函数的直观理解逻辑回归优缺点其他逻辑回归与线性回归的区别与联系LR一般需要连续特征离散化原因广义线性模型逻辑回归与线性回归都是一种广义线性模型（generalized linear model，GLM）。具体的说，都是从指数分布族导出的线性模型，线性回归假设Y|X服从高斯分布，逻辑回...

线性回归和逻辑回归

在2017年年1月微软在GitHub的上开源了一个新的升压工具LightGBM（Light Gradient Boosting Machine ）。它是一种优秀的机器学习算法框架，与XGBoost算法相比，在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。下图是LightGBM在GitHub主页上展示的在五个不同数据集上得到的性能实验数据，比起XGBoost算法，LightGBM算法在准确度一样，但在速度和内存的消耗上有更明显的优势。耗时比较：准确率比较：内存消耗

XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些项目中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是GBDT（gradient boosting decision tree）的改进，既可以用于分类也可以用于回归问题中。全称：eXtreme Gradient Boosting（极值梯度提升算法） 作者：陈天奇(华盛顿大学博士) 基...

这里我们不再纠结于ID3, C4.5和 CART，我们来看看决策树算法作为一个大类别的分类回归算法的优缺点。这部分总结于scikit-learn的英文文档。首先我们看看决策树算法的优点：1）简单直观，生成的决策树很直观。2）基本不需要预处理，不需要提前归一化，处理缺失值，决策树的优势特点。3）使用决策树预测的代价是O(log2m)。m为样本数，时间复杂度。O(N*M*D)，N是sample的大小，M是feature的数量，D是树的深度。CART生长时，把所有fea...

集成学习算法，它本身不是一个单独的机器学习算法，集成是结合不同的学习模块（单个模型）来加强模型的稳定性和预测能力。集成学习把大大小小的多种算法融合在一起，共同协作来解决一个问题，也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等。集成学习有两个关键点：1）怎么训练每个算法？2）怎么融合每个算法？围绕这两个关键点，有很多方法提出来，极具代表性就是大家熟知的 Bagging 和 Boosting 方法，其中 Bagging ...

决策树（Decision tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。 机器学习中，决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分支叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单...

决策树（Decision tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。 机器学习中，决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分支叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单...

决策树（Decision tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。 机器学习中，决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分支叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输...

决策树（Decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个输出类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。目的是保证节点的纯度越来越高，划分样本的能力越强信息熵越小，纯度越高信息增益越大，纯度越高基尼系数越小，纯度越高信息熵（Entro...

决策树是一种基于二叉树（最多有左右两个子树）的机器学习模型。决策树遍历训练数据并将信息浓缩为二叉树的内部节点和叶节点，从而学习训练集中的观测值之间的关系，这些观测值表示为特征向量x和目标值y

SHAP，最早由加州大学洛杉矶分校（UCLA）的教授 Lloyd Shapley 提出，主要是用来解决合作博弈论中的分配均衡问题。Lloyd Shapley 是 2012 年的诺贝尔经济学奖获得者，也是博弈论领域的无冕之王。SHAP， 全称是 SHapley Additive exPlanation，属于模型事后解释的方法，可以对复杂机器学习模型进行解释，其中各个单词的意义为：SHapley：代表对每个样本中的每一个特征变量，都计算出它的 Shapley Value。Additive...

模型可解释性LIME的原理LIME的想法很简单, 我们希望使用简单的模型来对复杂的模型进行解释. 这里简单的模型可以是线性模型, 因为我们可以通过查看线性模型的系数大小来对模型进行解释. 在这里,LIME只会对每一个样本进行解释(explain individual predictions).LIME会产生一个新的数据集(这个数据集我们是通过对某一个样本数据进行变换得到), 接着在这个新的数据集上, 我们训练一个简单模型(容易解释的模型),我们希望简答模型在新数据集上的预测结果和复杂模...

特征降维

我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个比较复杂的过程，需要考虑的因素很多，比如：变量的预测能力，变量之间的相关性，变量的简单性（容易生成和使用），变量的强壮性（不容易被绕过），变量在业务上的可解释性（被挑战时可以解释的通）等等首先“无关.

过滤式方法先按照某种规则对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。相关系数法、卡方检验法和互信息法是进行特征选择时常用的几种过滤式方法。变量之间的关系变量之间的关系可分为两类：（1）存在完全确定的关系——称为函数关系，即Y=2X+3；（2）不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系...

在风控领域的业务中，稳定性压倒一切，一套风控模型正式上线运行后往往需要很久（通常一年以上）才会被替换下线。如果模型不稳定，意味着模型不可控，对于业务本身而言就是一种不确定性风险，直接影响决策的合理性，这是不可接受的。在机器学习构建风控模型时，我们基于假设“历史样本分布等于未来样本分布”。因此，我们通常认为：模型或变量稳定 <=> 未来样本分布与历史样本分布之间的偏差小。 然而，实际中由于受到客群变化（互金市场用户群体变化快）、数据源采集变化（比如爬虫接口被...

算法的评价

对于一个机器学习问题，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。由此可见，数据和特征在模型的整个开发过程中是比较重要。特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现数据的过程。在实际工作中，特征工程旨在去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。 在实际的模型应用中并不是特征越多越好，特征越多固然会给我们带来很多额外的信息，但是与...

http://www.sohu.com/a/129333346_465975http://blog.youkuaiyun.com/bbbeoy/article/details/72967185

机器学习-距离度量

机器学习-正则化

机器学习的本质是建立优化模型，通过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量，最终建立模型。通常用到的优化方法：梯度下降方法、牛顿法、拟牛顿法等，这些优化方法的本质就是在更新参数。 牛顿迭代法又称为牛顿-拉弗森方法，实际上是由牛顿、拉弗森各自独立提出来的。牛顿-拉弗森方法提出来的思路就是利用切线是曲线的线性逼近这个思想，如下图所示： 随便找一个曲线上的A点（为什么随便找，根据切线是切点附近的...

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降算法（Gradient Descent Algorithm）是最常采用的方法之一，也是众多机器学习算法中最常用的优化方法，几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。梯度就是导数梯度下降法就是一种通过求目标函数的导数来寻找目标函数最小化的方法。梯度下降目的是找到目标函数最小化时的取值所对应的自变量的值，记住我们目的是为了找自变量x。...

在机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。损失函数可以很好得反映模型与实际数据差距的工具，理解损失函数能够更好得对后续优化工具（梯度下降等）进行分析与理解。在工业上很多时候遇到复杂的应用场景问题，其实最难的一关是如何写出损失函数。通常提到损失函数，我们...