m0_37561765的博客

Abstarct：   针对FNNs（feed-forward neural networks)的层数都比较浅的情况，作者提出了SNNs(自标准化神经网络）的概念，SNNs可以使得网络更深，探索高层的抽象特征。另外不像bn的强制每层归一化，SNNs可以自动收敛到均值0方差1，SELUs就是具有自标准化属性的激活函数。 使Banach定点定理，我们证明了这一点激活接近零的平均值和单位方差，即使有噪声和

一、Boost    Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合...

不平衡数据下的机器学习方法简介半监督学习中的协同学习不平衡数据下的机器学习方法简介https://www.jianshu.com/p/3e8b9f2764c8 半监督学习中的协同学习http://lamda.nju.edu.cn/huangsj/dm11/files/gaoy.pdf ...

这样应该是最接近我对论文的理解写出的bn代码，如果有问题，欢迎指正。def batch_norm(x, n_out,train, eps=1e-05, decay=0.99,affine=True, name=None): with tf.variable_scope(name, default_name='BatchNorm2d'): moving_mean = t...

在机器学习、推荐系统、信息检索、自然语言处理、多媒体视觉等领域，经常会用到准确率(precision)、召回率(recall)、F-measure、F1-score 来评价算法的准确性。 一、准确率和召回率(P&R)以文本检索为例，先看下图 其中，黑框表示检索域，我们从中检索与目标文本相关性大的项。图中黄色部分(A+B)表示检索域中与目标文本先关性高的项，图中A+C部分表示...

感知野多用于目标识别，没看过这方面论文和工作，所以理解出错希望大家可以立刻指正。感知野定义： 在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。 看图理解： 上图左边5*5 （kernel_size k=3x3，padding_size p=1x1, stride s = 2x2） 输出3*3的特征，...

MLP

卷积神经网络

主成分分析与白化

可视化CNN

softmax多分类

逻辑斯谛回归

来自ufldl教程 很久之前做的工作了，最近看书所以再次整理下。

NIN论文地址1.出发点：增强模型在其感知野内的辨别能力，通常是由卷积滤波器(一个通用线性模型（GLM))提取各个抽象特征，当这些被提取的特征是线性的，卷积滤波器是够用的，但这显然不符合事实，比如我们要提取 某个特征，于是我就用了一大堆的滤波器，把所有可能的提取出来，这样就可以把我想要提取的特征也覆盖到，然而这样存在一个缺点，那就是网络太恐怖了，参数 太多了。因此作者用一个通用的函数逼近器（mlp）

之前跑的卷积网络都是10层左右的，层数再深训练速度慢且网络模型不好搭建，终于有时间看resnet了。一.关于resnetPlainNet结构主要基于VGG修改而得到，ResNet结构主要结构与PlainNet一致，只是多了许多 shortCut连接,可以发现，通过shortcut，整个ResNet就可以看成是许多个residual block堆叠而成。 H(X) 是一个有若干堆叠的网络层将进行

最近做了个对比实验，通过修改激活函数观察对图片分类准确率的影响，现记录如下：一．理论基础 1.1激活函数 1.2 elu论文（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)） 1.2.1 摘要     论文中提到，elu函数可以加速训练并且可以提高分类的准确率。它有以下特征： 1）el

一、背景及需求：多模型—>单模型原始bagging5个模型 每个模型的F1值： 多模型融合效果： 现在是要把5个模型通过T-S生成1个模型。二、T-S简介三、实现首先是从已知的模型中取出loss，这里需要重新run graph，命名空间很重要，feed数据与模型的输入保持一致， input_node是输入节点的名字，需要获取的loss节点的名字...