zjpp2580369的博客

http://www.jeyzhang.com/cnn-learning-notes-1.html

加入正则项是为了避免过拟合

输入层—神经网络的第一层。它接收输入信号（值）并将其传递至下一层，但不对输入信号（值）执行任何运算。它没有自己的权重值和偏置值。我们的网络中有 4 个输入信号 x1、x2、x3、x4。隐藏层—隐藏层的神经元（节点）通过不同方式转换输入数据。一个隐藏层是一个垂直堆栈的神经元集。下面的图像有 5 个隐藏层，第 1 个隐藏层有 4 个神经元（节点），第 2 个 5 个神经元，第 3 个 6 个神经元...

https://www.zhihu.com/question/21329754如何区分类与回归，看的不是输入，而是输出的连续与否分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务。...

交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距1.信息量2.熵3.相对熵4.交叉熵5.机器学习中交叉熵的应用1.为什么要用交叉熵做loss函数？在线性回归问题中，常常使用MSE（Mean Squared Error）作为loss函数，比如：这里的m表示m个样本的，loss为m个样本的loss均值。MSE在线性回归问题中比...

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类。假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点...

在论文中一般代价函数=损失函数cost function=loss function1.损失函数、代价函数与目标函数Loss Function 是定义在单个样本上的，算的是一个样本的误差。Cost Function 是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。由于优化过程中涉及到求梯度，所以代价函数很多会做成差的平方和形式。Object Function目标...

层数比较多的神经网络模型在训练时也是会出现一些问题的，其中就包括梯度消失问题（gradient vanishing problem）和梯度爆炸问题（gradient exploding problem）。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。例如，对于下图所示的含有3个隐藏层的神经网络，梯度消失问题发生时，接近于输出层的hidden layer 3等的权值更新相对正常，...

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播...

激活函数负责为神经网络引入非线性特征。非线性激活函数可以使神经网络随意逼近复杂函数。没有激活函数带来的非线性，多层神经网络和单层无异。1.SigmoidSigmoid又叫作Logistic激活函数，它将实数值压缩进0到1的区间内，还可以在预测概率的输出层中使用。数学公式:Sigmoid激活函数:导数:三个主要的缺陷:梯度消失：注意：Sigmoid 函数趋近 0 和 1 的时...