diaoyan2763-优快云博客

转载线性回归

一个栗子　　数据：工资和房屋面积（2个特征）　　目标：预测银行会贷款给我多少钱（标签）　　考虑：工资和房屋面积都会影响最终银行贷款的　　结果那么它们各自有多大的影响呢？（参数）姓名工资(元)房屋面积(平方米)可贷款金额(元) 张三 6...

2018-12-30 14:02:00 190

转载简单RNN

递归神经网络（RNN）对于自然语言处理和其他序列任务非常有效，因为它们具有“记忆”功能。它们可以一次读取一个输入x⟨t⟩（如单词），并且通过隐藏层激活从一个时间步传递到下一个时间步来记住一些信息/上下文，这允许单向RNN从过去获取信息来处理后面的输入，双向RNN可以从过去和未来中获取上下文。有些东西需要声明： 1 - 循环神经网络的前向传播我们来看一下下面的循环神经...

2018-12-27 15:16:00 329

转载简单解释Momentum,RMSprop,Adam优化算法

我们初学的算法一般都是从SGD入门的，参数更新是：它的梯度路线为：但是可以看出它的上下波动很大，收敛的速度很慢。因此根据这些原因，有人提出了Momentum优化算法，这个是基于SGD的，简单理解，就是为了防止波动，取前几次波动的平均值当做这次的W。这个就用到理论的计算梯度的指数加权平均数，引进超参数beta(一般...

2018-12-27 13:47:00 303

转载指数加权平均数

1. 什么是指数加权平均指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。它的计算公式如下：其中， θ_t：为第 t 天的实际观察值， V_t: 是要代替θ_t的估计值，也就是第 t 天的指数加权平均值， β：为V_{t-1}的权重，是可调节的超参。( 0 < β &...

2018-12-27 13:29:00 371

转载 YOLO算法的原理与实现

1、前言　　当我们谈起计算机视觉时，首先想到的就是图像分类，没错，图像分类是计算机视觉最基本的任务之一，但是在图像分类的基础上，还有更复杂和有意思的任务，如目标检测，物体定位，图像分割等，见图1所示。其中目标检测是一件比较实际的且具有挑战性的计算机视觉任务，其可以看成图像分类与定位的结合，给定一张图片，目标检测系统要能够识别出图片的目标并给出其位置，由于图片中目标数是不定的，且要给出...

2018-12-26 17:11:00 1041

转载 VGG

前言　　　　VGGNet是牛津大学计算机视觉组（VisualGeometry Group）和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功地构筑了16~19层深的卷积神经网络。VGGNet相比之前state-of-the-art的网络结构...

2018-12-25 21:54:00 300

转载 L1正则化与L2正则化的理解

一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。二、区别：　　1.L1是模型各个参数的绝对值之和。　　　L2是模型各个参数的平方和的开方值。　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵　　 L...

2018-12-24 20:38:00 250

转载【深度学习】深入理解Batch Normalization批标准化

Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Traini...

2018-12-24 18:20:00 131

转载 FaceNet

传统的基于CNN的人脸识别方法为：　　1. 利用CNN的siamese网络来提取人脸特征　　2. 然后利用SVM等方法进行分类 facnet亮点　　1. 利用DNN直接学习到从原始图片到欧氏距离空间的映射，从而使得在欧式空间里的距离的度量直接关联着人脸相似度；　　2. 引入triplet损失函数，使得模型的学习能力更高效。部分结果展示：而这篇文章中他们提出了一个...

2018-12-24 13:22:00 663

转载交叉熵损失函数

交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？两种形式这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样？因为这两个交叉熵损失函数对应不同的最后一层的输出：第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid 先来看下信息论中交叉熵的形式 ...

2018-12-23 22:27:00 198

转载 LeNet-5

LeNet-5是一个较简单的卷积神经网络。下图显示了其结构：输入的二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用softmax分类作为输出层模型结构: LeNet-5共有7层（不包含输入层），每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。　...

2018-12-23 21:06:00 176

diaoyan2763的博客