kakazai.cn

0-1盈余损失的缺点是对于真实值1，预测值小于等于1时，损失都是相同。但预测值若是0.8，明显比预测值-800更接近真实值1。因此，合页损失Hinge Loss，进一步量化了预测错误的程度。它的核心点如下：（1) 对于真实值1，若预测值∈[ 1, ∞]，预测正确，否则预测错误。（2) 对于真实值-1，若预测值∈[ -∞, -1]，预测正确，否则预测错误。(3) 预测正确时，损失函数值为0；预...

四、存在噪音的训练数据集(1) 训练数据集线性可分1） 噪音让最优超平面变形2） 引入松弛变量处理噪音，修改原目标函数和约束条件3） 构造拉格朗日函数得到对偶问题31） 构造拉格朗日函数32） KTT条件-最优解必须满足的条件33） 对偶问题4）求解对偶问题-SMO算法41） 思路42） 计算出最优解43） 分析最优解的取值范围44）如何选择两个变量？5）...

一、前言（1）现有SVM相关材料的贡献与不足周志华《机器学习》李航《统计学习方法》支持向量机通俗导论（理解 SVM 的三层境界）从零推导支持向量机（2）本文的贡献和不足本文的贡献本文的不足（3）阅读本文所需的数学知识（4）主动思考，亲自动手，化整为零（5）我的疑问二、相关定义和主要任务：（1）相关定义（2）任务三、不存在噪音的训练数据集(1) ...

  假设某个体$x$有$d$个特征，即$x=(x^{1},x^{2},...,x^{d})$，$x^{i}$是第i个特征，线性模型(linear model)试图**<font color=#A52A2A >通过特征的线性组合得到预测值</font>**，即$$f(x)=w^{T}x+b=w_{1}x^{1}+w_{2}x^{2}+......

箱形图作用-python实践-异常值识别文章目录一、别名二、历史三、定义四、作用（1）识别异常值（2）判断偏态（3）评估数据集中程度五、用python绘制箱线图参考一、别名箱须图、箱形图、盒图、盒须图、盒式图、盒状图Box plot、Box-whisker Plot二、历史箱线图因形状如箱子而得名。1977年，美国著名数学家John W. Tukey首先在他的著作《Explorator...

joblib.dump vs joblib.load原文：http://kakazai.cn/index.php/Kaka/Python/query所属模块：sklearn功能：在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试实例1：保存模型#!/usr/bin/python3#code-python(3.6)#导入鸢尾花数据集f...

异常检测：局部异常因子LOF算法的方方面面原文：http://kakazai.cn/index.php/Kaka/Jqxx/query/id/6文章目录一、别名二、历史三、算法简介（1）核心思想（2）算法描述（3）时间复杂度分析四、算法的变种（1）FastLOF五、LOF在sklearn中的有关函数核心函数LocalOutlierFactor函数model.fit()函数model.kneig...

分类方法：KNN算法的全面解析原文链接：http://kakazai.cn/index.php/Kaka/Jqxx/query/id/8文章目录一、孟母三迁与KNN二、别名三、历史四、算法（1）核心思想（2）算法描述（3）时间复杂度分析（4）算法的优缺点分析五、算法的变种（1）增加邻居的权重（2）用一定半径范围内的点取代k个邻居六、KNN在sklearn中的实现核心函数KNeighborsCl...

K-means全方位解析原文链接：http://kakazai.cn/index.php/Kaka/Jqxx/query/id/15文章目录一、别名二、历史三、算法简介（1）核心思想---众星拱月与k-means（3）算法伪代码（4）时间复杂度分析（5）算法优缺点优点缺点四、算法的变种（1）K-means++五、K-means在sklearn中的有关函数（1）核心函数（2）属性（3）方法训练模...

文章目录任务解决方案任务最近在研究UCI machine learning的Diabetes 130 US hospitals for years 1999-2008 数据集。数据集中存在缺失值，用‘？’表示。现在需要回答以下问题：1.每列中是否存在缺失值？2.若存在缺失值，缺失值的数目是多少，占比多少？解决方案方案先是针对这种情景下了一段代码：raw_data是导入为D...

一下

一、基尼系数是什么？1)定义    下面是摘自李航《统计学习方法》中基尼系数的定义，非常清晰。2)基尼系数有什么意义？    我们可以先来看一组数据X的取值 方案一 方案二 方案三 方案四 P的平方 方案一 方案二 方案三 方案四类别一 0.9 0.5 0.4 0.2 p1^2 0.81 0.25 0.16 0.04类别二 0.1 0.5 0.3 0.2 p2^2 0.01 0.25 0.09 0...

参考：李航《统计学习方法》感知机(perceptron)   输入一个或多个变量X（组成特征向量)，输出两个Y值（正类和负类，如+1和-1)。找到从X到Y的线性函数，f(x)=sign(w*x+b)。    其中f(x)成为感知机，w称为权值向量(weight vector)，b称为偏置(bias)，w*x表示w和x的内积。    w*x+b=0是一个超平面S，w是S的法向量,b是S的截距。超平面...

参考：李航《统计学习方法》K近邻法(k-nearest neighbor,KNN)    假设给定一个训练数据集，每个实例点(特征向量X)对应的类别(Y)已经确定。新的输入实例点的类别，由离它最近的K个实例点的类别，通过多数表决的方式决定。当k=1时，输入实例点的类别，将由离它最近的那个实例点的类别所决定，称为最近邻法。    k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素. k近邻法...

统计学习(统计机器学习)的骨骼是什么？定义用计算机，基于数据，构建出概率统计模型，并用模型分析和预测数据。数据： 包括数字，文字，图片，视频，音频，以及它们的组合。同类数据：具有某种性质的数据，如英文文章，互联网网页，数据库中的数据。基本假设同类数据具有一定的统计规律性。若无规律性，则统计学习无用武之地。分类监督学习 + 半监督学习 + 半监督学习 + 强化学习应用领域人工智能 + 模式识别 + ...

  前言：在学习支持向量机SVM时，要对SVM模型求最优解，需要用到拉格朗日乘子法和KTT条件。因此本文目的在于系统地梳理求“如何求最优解”，侧重介绍以上提到的两个概念。新手一个，叙述有纰漏的地方恳请指出。   最优化问题这里指给定某一函数，求其在指定定义域内的全局最小值。   一般来说，最优化问题由简单到复杂可以分为以下三类：(1)无约束条件  这是最简单的情况，通常是对变量求导...

    已经清楚了模型选择的理论，接下来探讨实际中，如何选择模型？任务： 给定假设空间，损失函数，训练数据集，判断给出的各个模型，哪个更优秀？场景一：训练数据集容量足够大。方案一：使用经验风险最小化ERM策略推理过程：大前提：当训练数据集接近总体数据集时，可以认为经验损失是接近期望损失的。小前提：期望损失越小，模型越优秀。结论：当训练数据集接近总体数据集时，经验损失越小，模型越优秀。【经验风险最小...

由模型可以得到预测值，而预测值和真实值之间是存在差异的。接下来，我们需要回答以下问题：当可用的模型有多个时，应该选哪一个？    这称之为模型选择(model selection)问题。答案是，当然选择最优秀的那个模型。那问题来了，模型的优秀程度具体指什么？    优秀程度指的是模型对数据集的预测准确程度，亦称为泛化能力(generalization ability)。也就是，在给定数据集上，真实...

参考《机器学习实战》    本文是用枚举法实现KNN算法的，并非用KD树。枚举法即计算出全部的已有输入实例点到目标实例点的距离，排序后选出距离最小的K个点，就是最邻近的K个点。本文的输入实例只有两维，用欧氏距离公式去度量距离的。本文是针对像我这样的新手，对每句代码都进行详细的解释，若看不懂，请留言让我改进。from numpy import *    #导入numpy模块中的所有内容import...

参考：李航《统计学习方法》分类(classification)    输入变量X的值可以是连续的，也可以是离散的，输出变量Y的值是离散的，这时对Y进行预测变成了分类问题。可能的输出Y值称为类(class)。当分类的Y值为多个时，称为多分类问题。分类器(classifier)：监督学习从数据中学习到的函数如何评价分类器的性能？某个分类器好，还是不好？1)通用的评价指标分类准确率(accuracy)：...

  假设某个体xxx有ddd个特征，即x=(x1,x2,...,xd)x=(x1,x2,...,xd)x=(x^{1},x^{2},...,x^{d})，xixix^{i}是第i个特征，线性模型(linear model)试图通过特征的线性组合得到预测值，即f(x)=wTx+b=w1x1+w2x2+...+wdxd+bf(x)=wTx+b=w1x1+w2x2+...+wdxd+bf(x)=w^{T...

2018/6/6    最近在看机器学习方面的书籍，很多声音认为李航的《统计学习》非常适合新手。一开始看第一章对符号，概念的定义，认为确实很清晰，比周志华的书，在符号，概念，假设的介绍方面清晰多了。无奈这种好感也持续不了多久，看着看着，感觉某些知识点的描述尽是一堆新的术语和概念，公式，看到都怀疑自己是不是蠢到家了，怎么看没共鸣。话说，我的需求并不是领教学术的严谨呀，我只想深刻地掌握某个工具起源，所...

   我们手上有一系列的实例，假设每个实例是由一个或以上的特征组成。为什么说实例a和实例b是不同的呢？因为组成实例a与实例b的特征不同。如果组成实例a与实例b的特征完全相同，那么我们说其实只有一个实例，a或b，并没有两个实例。再言之，实例只是特征的组合，并没有增加额外的信息。不同的特征组合，就构成不同的实例。    ——世界上没有两片相同的叶子。    假如我们对“叶子”这个实例进行特征提取，我们...

   参考：《统计学习方法》李航    本文想用一个例子理清朴素贝叶斯的原理。发现，它只是概率统计中的条件概率+全概率应用而已，再加上个特征之间相互独立的假设。    在已有的人群中，颜值高的人中，性格傲娇的比例最大，性格温顺的比例次之。那么如果新来一个人，颜值高，就将它判断为性格傲娇。这稍微说明了朴素贝叶斯的原理。    但是目前，我对里面的拉普拉斯平滑并不理解。在计算过程中，如果某个作为分母的...

决策树的历史    Quinlan 1986年提出ID3算法，1993年提出C4.5算法，Breiman等1984年提出CART算法。ID3算法    现在我们手上有n个实例，每个实例都有m个特征，共属于k个类别。举例说，有100个人，抽取其3个特征X=(样貌，性格，学历)，从是否作奸犯科来分类，共属2个类别Y = (犯法 | 不犯法)。现在新来一个人，我们想要判断他属于哪个类别，是否会犯法。  ...