qq_42341984的博客

1

flatten的作用relu的求导小于0时，导数为0;大于0时,导数为1。

Deep Learning Software

RNNRNNWhy RNN?RNN结构语言模型语言的RNNWhy RNN?他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。RNN结构语言模型语言的...

CNN架构

训练神经网络 part II梯度检查（Gradient checks）三级目录健全性检查（Sanity checks）梯度检查（Gradient checks）三级目录健全性检查（Sanity checks）

训练神经网络 part I激活函数SigmoidtanhReLU —— 修正线性单元Leaky ReLUMaxout数据处理权值初始化批量归一化（Batch Normalization）迁移学习（Transfer Learning）reference激活函数Sigmoidsigmoid函数的导数：sigmoid函数饱和使梯度消失(Sigmoid saturate and kill gradients)我们从上图可以看到sigmoid的导数都是小于0.25的，那么在进行反向传播的时候，梯度相乘

卷积神经网络（CNN）为什么要使用卷积？CNN的层输入层（INPUT）卷积层（CONV）过滤器(卷积核)池化层 （POOL）全连接层（FC）为什么要使用卷积？CNN的层CNN将原始图像从原始像素值逐层转换为最终的类别分数。CNN网络一共有5个层级结构：输入层（INPUT）卷积层（CONV）激活层（ReLU）池化层（POOL）全连接层（FC）输入层（INPUT）卷积层（CONV）过滤器(卷积核)局部感知：和全连接层不同，卷积层的每个神经元仅连接到输入体的局部区域。区域的

神经网络和反向传播神经网络反向传播链式法则模块化：Sigmoid示例神经网络 如上图，是一个2层的神经网络，其中 h=max(0,x)h=max(0,x)h=max(0,x)，函数 max(0,x)max(0,x)max(0,x) 称作激活函数（activation function），通过它引入了非线性。几种常用的激活函数： 神经网络的结构：反向传播链式法则举例说明：# set some inputsx = -2; y = 5; z = -4# perform the forw

损失函数和优化线性分类（Linear classification）从图像到标签分数的参数化映射线性分类器的理解损失函数多类支持向量机损失（Multiclass Support Vector Machine loss）多项逻辑回归损失函数（Softmax）线性分类（Linear classification）从图像到标签分数的参数化映射假设图像的训练数据集xi∈RDx_i \in R^Dxi​∈RD，每个都与一个标签yiy_iyi​相关联。我们有N个示例（每个都是D维）和K个不同的类别。例如，在CIF

图像分类数据驱动方法K-最近邻算法线性分类 I