munan2017

感知机感知机是一种最简单的线性二分类模型，可以在输入空间（特征空间）将实例划分为正负两类。感知机学习算法的原始形式对于输入空间，感知机通过以下函数将其映射至{+1，-1}的输出空间 f(x)=sign(w⋅x+b)                      对于所有的错分类点i∈M，都有−yi(w⋅xi+b)>0,因此我们可以定义如下的损失函数作为优化准则：                通...

 在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式就可以确定。经验风险最小化的策略认为，经验风险最小的模型是最优的模型。根据这一策略，按照经验风险最小化求解最优模型就是求解最优化问题：     当样本容量足够大时，经验风险最小化能保证很好的学习效果，在现实中被广泛采用。比如，极大似然估计就是经验风险最小化的一个例子。当模型是条件概率分布，损失函数是对数函数时，经验风险最小化就等价于极...

交叉验证（Cross Validation）常见的交叉验证方法如下：1、简单交叉验证将原始数据随机分为两组，一组做为训练集，一组做为验证集，利用训练集训练分类器，然后利用验证集验证模型，记录最后的分类准确率为此分类器的性能指标。好处：处理简单，只需随机把原始数据分为两组即可坏处：但没有达到交叉的思想，由于是随机的将原始数据分组，所以最后验证集分类准确率的高低与原始数据的分组有很大的关系，得到的结果...

T/F表示 true/false 表示预测的是不是对的P/N表示positive/negative  表示预测的结果是1还是0 TP: 预测为1， 实际为1，预测正确FP: 预测为1， 实际为0，预测错误TN: 预测为0，实际为0，预测正确FN: 预测为0， 实际为1，预测错误准确率precision： TP/ (TP+FP)召回率recall： TP/ (TP +FN)所以，很多时候我们需要综合...

联合概率分布简称联合分布，是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同，联合概率分布的表示形式也不同。对于离散型随机变量，联合概率分布可以以列表的形式表示，也可以以函数的形式表示；对于连续型随机变量，联合概率分布通过一非负函数的积分表示。举例说明联合概率分布打靶时命中的坐标（x，y）的概率分布就是联合概率分布（涉及两个随机变量），其他同样类比。离散型联合概率分布对于二维离散随机...

时间复杂度表明问题规模扩大后，程序需要的时间长度增长得有多快。程序的时间复杂度一般可以分为两种级别：[1]      - 多项式级的复杂度，如O(1)，O(log(n))、O（n^a）等，[2]      - 非多项式级的，如O(a^n)、O(n!)等。后者的复杂度计算机往往不能承受。空间复杂度表示一个算法在计算过程当中要占用的内存空间大小约化(Reducibility)简单的说，一个问题A可以约...

BN BN的作用 为了对隐含层进行归一化操作。对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。（如下图，加入激活函数后，可能会使很多的数据进入饱和区（即当x大于20之后，其梯度几乎为0）） 添加BN的原因 因为添...