Mr_Robert的博客

快速理解机器学习中的偏差与方差偏差与方差偏差（bias）：偏差度量了学习算法的期望预测与样本真实结果的偏离程度，即刻画了学习算法本身的拟合能力。方差（variance）：方差度量了同样大小的训练集的变动导致的学习性能的变化，即刻画了数据扰动所造成的影响。噪声（noise）：噪声表达了在当前任务上学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。偏差和方差的形象展示如下...

集成学习-Bagging和Boosting异同集成学习（Ensemble Learning）集成学习（Ensemble Learning）有时也被笼统地称作提升（Boosting）方法，广泛用于分类和回归任务。它最初的思想很简单：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分类器，来做最后的决策。也就是常说的“三个臭皮匠顶个...

【机器学习算法笔记系列】KNN算法详解和实战KNN算法算法概述K最近邻(K-Nearest Neighbor, KNN)算法，是著名的模式识别统计学方法，在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。算法原理：“近朱者赤近墨者黑”KNN的输入是测试数据和训练样本数据集，输出是...

数据挖掘、机器学习、自然语言处理Python工具包(持续更新)科学计算Python包NumpyNumpy中文学习文档Numpy官方文档Numpy是一个功能强大的Python库，主要用于对多维数组执行计算。Numpy这个词来源于两个单词-- Numerical和Python。Numpy提供了大量的库函数和操作，可以帮助程序员轻松地进行数值计算。这类数值计算广泛用于以下任务：机器...

决策树(Decision Tree)算法算法概述本文主要介绍机器学习中的决策树模型。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。同时也特别适合集成学习比如随...

线性回归算法算法概述在统计学中，线性回归(Linear Regression) 是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是由一个或多个称为回归系数的模型参数的线性组合而成。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量...

支持向量机(SVM)算法概述支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机当训练样本线性不可分时...

逻辑回归(LR)算法概述逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。逻辑回归算法原理预测函数和决策边界逻辑回归的预测函数可以表示为：举一个例子，假设我们有许多样本，并在图中表示出来了，并且假设我们已经通过某种方法求出了LR模型的参数（如下图）：这时，直线上方所...

朴素贝叶斯(NB)算法概述朴素贝叶斯（Naïve Bayes, NB）算法，是一种基于贝叶斯定理与特征条件独立假设的分类方法。朴素：特征条件独立；贝叶斯：基于贝叶斯定理。属于监督学习的生成模型，实现简单，并有坚实的数学理论（即贝叶斯定理）作为支撑。在大量样本下会有较好的表现，不适用于输入向量的特征条件有关联的场景。朴素贝叶斯算法原理贝叶斯定理条件概率：就是事件 AAA在另外一个事件BBB...