zhangt766的博客

定义：AUC是一个模型评价指标，只能用于二分类模型的评价. AUC是Area under curve的首字母缩写。定义：召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率（正确分类的正例个数占实际正例个数的比例），衡量的是检索系统的查全率。定义：精确率是检索出相关文档数与检索出的文档总数的比率（正确分类的正例个数占分类为正例的实例个数的比例），衡量的是检索系统的查准率。定义：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。缺点：在正负样本不平衡的情况下，这个指标有很大的缺陷。

6.验证（注意下载好之后环境还tensorflow里，此时照搬网上的验证代码importtensorflowastf时错误的，应该先将shell切入python下面,再验证.验证时输入如下代码，如果显示了版本，安装成功）2.载入清华镜像源（阿里源，中科院源也是一样的，这里的镜像源相当于是个缓存站，我们要下的东西，镜像源提前在谷歌里下载下来了，我们直接去镜像源下载，比访问谷歌更快）3.创建tensorflow的环境。5.下载tensorflow。1.安装anaconda。...

softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 为什么softmax是这种形式？首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果转化为非负数我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。

机器学习可以分为两大类：生成式模型（Generative Model）、判别式模型（Discriminative Model）。 现在有一堆球，颜色信息已知为绿色和黄色两种，有且仅有这两种颜色，这里，球的颜色为y（目标变量），坐标轴上位置为特征X。我们想要知道，如果在坐标轴的某一位置x新放入一个球，这个球会是什么颜色的？ 1.生成式模型的思想： 生成式模型使用的是联合概率P(X,Y)，若已知x（球的坐标位置信息），通过计算出P(X,Y)我们就可以知道球的颜色。 P(X,Y) = P(Y)*P(X|Y)，其中

来自：百度安全验证1.请简要介绍下SVM。SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。扩展：支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支

核函数是用来计算映射到高维空间之后的内积的一种简便方法。比如：在一个二维平面里面，这样的情况是不可能只用一个平面来分类的，但是只要把它投射到三维的球体上，就可能很轻易地分类。一般英文文献对Kernel有两种提法，一是Kernel Function，二是Kernel Trick。从Trick一词中就可以看出，这只是一种运算技巧而已，不涉及什么高深莫测的东西。具体巧在哪里呢？我们如果想进行原本就线性不可分的数据集进行分割，那么选项一是容忍错误分类，即引入Soft Margin；选项二是我们可以对

1.概念和原理softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！我们知道max，假如说我有两个数，a和b，并且a>b，如果取max，那么就直接取a，没有第二种可能。但有的时候我不想这样，因为这样会造成分值小的那个饥饿。所以我希望分值大的那一项经常取到，分值小的那一项也偶尔可以取到。那么我用softmax就可以了 现在还是a和b，a>b，如果我们取按照softmax来计算取a和b的概率，那a的softmax值大于b的

在线性回归里，我们用线去拟合点，现在的分类问题里，如果我们同样用线去拟合点，也能得到一个函数:如果现在我们延长x轴，我们的数据多了一个点，那我们的线就会变成蓝色这条，在x轴上的分界值会右移，部分原本该为1的点，会被误判为0，因此线性回归不再适合于分类函数因此我们用一个激活函数，把分类控制在一定范围内，常见的激活函数有sigmoid，relu当z>=0, g(z)>=0.5， y=1；当z<=0, g(z)<=0.5， y=0；d..

from matplotlib.font_manager import FontPropertiesimport matplotlib.lines as mlinesimport matplotlib.pyplot as pltimport numpy as npimport operator"""函数说明:kNN算法,分类器Parameters: inX - 用于分类的数据(测试集) dataSet - 用于训练的数据(训练集) labes - 分类标签 k - kNN算法参数.

import pandas as pdimport numpy as npimport matplotlib.pyplot as plt# create datanp.random.seed(0)n_sample = 100dis = np.random.rand(n_sample)acc = dis * 8 + np.random.random(n_sample) * 4my_data = {'distance': dis, 'accuracy': acc}data = pd.Da.

1.multivariate linear regressionLinear regression with multiple variables is also known as "multivariate linear regression".The multivariable form of the hypothesis function accommodating these multiple features is as follows:hθ​(x)=θ0​+θ1​x1​+θ2..

reference: Andrew Ng

上篇博客学习了cost function，遗留了一个问题怎么找到cost function的最小值呢？本篇的gradient descent 就是为了解决这个问题，在正式学习梯度下降之前，先来回顾一下相关概念1.梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f.

现在有天气，温度，湿度，风四个特征，来构造是否打球决策树。问：究竟该选哪个变量做跟特征呢第一步：观察数据，统计yes/no的个数 （no=5，yes=9）, 算出目前的熵第二步：对每个特征做节点时计算出信息熵那么ID3算法，有什么bug吗？？？ of course yesss !!!有的特征，分类种类多，每个种类所占样本少，这样算出来信息熵很高。比如，在这个例子中，假如现在有一个新的特征叫ID，ID共有14个种类（我们的数据正好14行），这样算...

一、什么是cost function?代价函数就是用于找到最优解的目的函数，这也是代价函数的作用。二、代价函数作用原理对于回归问题，我们需要求出代价函数来求解最优解，常用的是平方误差代价函数。比如，对于下面的假设函数:里面有θ0和θ1两个参数，参数的改变将会导致假设函数的变化，比如：现实的例子中，数据会以很多点的形式给我们，我们想要解决回归问题，就需要将这些点拟合成一条直线，找到最优的θ0和θ1来使这条直线更能代表所有数据。而如何找到最优解呢，这就需要使用代.

决策树构造里有个重要的概念——熵什么是熵呢？当一件事有多种可能状态，这件事具体是哪种状态的不确定性叫熵。（能够消除这件事的不确定性事物叫做信息）信息熵的公式如下：问1:信息是如何被量化的呢问2:为什么这个公式是这样的呢，为什么要乘以log呢？我们来参考一下质量是如何被测试出来的：选定一个参照物，把这个物体的质量称为千克，要测其他物体的质量就看它等于多少个参照物测量信息也是一样的，选择另一个事件的不确定性作为参照物，当想要测试其他事件的信息时，就看待测事件相

提到机器学习的过拟合问题，会想到用正则化来处理，正则化是什么意思呢？在知乎上看到一个很形象的解释。首先，用一个例子来理解什么是过拟合，假设我们要根据特征分类{男人X，女人O}。请看下面三幅图，x1、x2、x3；这三幅图很容易理解：1、 图x1明显分类的有点欠缺，有很多的“男人”被分类成了“女人”。2、 图x2虽然有两个点分类错误，但是能够理解，毕竟现实世界有噪音干扰，比如有些人男人留长发、化妆、人妖等等。3、 图x3分类全部是正确的，但是看着这副图片，明显觉得过了，连人妖都区分的

在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set)，验证集(validation set)，测试集(test set)，训练集很容易理解，是模型用来学习的，验证集和测试集很容易混淆。-训练集（train set） —— 用于模型拟合的数据样本。-验证集（validation set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。 通常用来在模型迭代训练时，用以验证当前模型泛化能力（准确.

我平平无奇的代码总有奇奇怪怪的错误错误很明显，就是mm.fit_transform[data]应该用括号但是第一次接触到subscriptable意思是方法不可以被使用下标在通俗一些，就是本来要使用()结果使用了[]...

上高中时并没有真正理解贝叶斯公式，死记硬背居多，数学不好真是有原因的。最近好像在开窍了，昨天归纳了贝叶斯定理，今天来写写贝叶斯在分类器中的应用。1.1贝叶斯分类的基础——贝叶斯定理已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：。 贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以...

首先，我们先来解析‘线性变换’这个术语 linear transformation变换（transformation）本质是函数（function）的一种花哨说法，它接收内容并输出对应结果既然变换和函数意义相同，那为什么不直接用函数？因为用变换（transformation）这个词在暗示我们用运动去思考如果一个变换接收一个向量并输出一个向量，我们可以把它看作是从输入向量到输出向量到移动接下来要理解整个变换，我们可以想象每个向量都移动到对应的输出向量..

机器学习分为两个流派：频率派 —— 统计机器学习贝叶斯派 —— 概率图模型最实质的区别还是 在预测结果的时候：频率方法认为真实结果由“推断”出的真实参数决定；而贝叶斯方法则认为，真实结果是所有可能参数所给出的预测结果的期望。频率派：从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。频率学派：其特征是把需要推断的参数θ视作固定且未知的常数，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对X的分布。.

人工智能主要分支：自然语言处理（NLP）计算机视觉（CV）机器人机器学习算法分类（根据数据集组成不同）：监督学习无监督学习半监督学习强化学习监督学习 VS 无监督学习监督学习 VS 半监督学习机器学习领域的重要假设：独立同分布假设（IID），即假设训练集和测试集是满足相同分布的。独立 — 每次抽样没有关系，不会互相影响 比如：掷一个骰子，每次抛到几就是几，每次的结果都是独立的，没有联系。两次掷骰子之和大于8，第一次和第二次结果互相联系，就是不独立同分布 —