qq_45008831的博客

归一化原理是二维logist回归拓展到多维，原理不用深究了。交叉熵损失我们希望分类器预测分布和真实分布越接近越好。思考：如果不采用one-hot编码，能用交叉熵计算相对熵吗？

激活函数为什么需要非线性操作？三层全连接网络：假若去掉激活函数：会发现X和f之间还是线性变换。结论：如果网络中缺少激活函数，全连接神经网络将变成一个线性分类器。常用激活函数网络结构设计1.用不用隐层，用一个还是用几个隐层？（深度设计）2.每隐层设置多少个神经元比较合适？（宽度设计）没有统一答案。结论：神经元个数越多，分界面就可以越复杂，在这个集合上的分类能力越强。全连接神经网络小结1.全连接神经网络组成：一个输入层、一个输出层及多个隐层；2.输入层与输出层的神经元个数由任

全连接神经网络绘制（以两层全连接神经网络为例）绘制方式一般有以下两种：【注】两幅图均默认隐含偏置b和激活单元。以方式二为例：输入层：3072个神经元隐层：100个神经元输出层：10个神经元隐层每一个神经元（即每一个模板）要和输入的所有神经元进行连接，每一个连接上都有一条边，边上有权重。以上完成了全连接神经网络（多层感知器）的学习。...

线性可分线性可分——至少存在一个线性分界面能把两类样本无错误的分开。【注】中间的三角区域是线性不可分区域，这点不重要。线性不可分通过全连接神经网络非线性映射，可以实现对线性不可分类别的学习。全连接神经网络相当于把线性分类器经过非线性操作后级联起来，级联过程中也强调非线性单元——激活函数的重要性。...

图像表示直接利用原始像素作为特征，展开为列向量。cifar10中每个图像可表示为一个3072(32323)维的向量。分类模型多层感知机，即全连接神经网络，这是一类很重要的分类网络，性能优良。1.线性分类器【注】：权值矩阵维度=类别数（行）X特征维度（列）偏置向量=类别数（行）X样本个数（列）2.全连接神经网络和线性分类最大的不同是：全连接神经网络需要多个变换实现输入到输出的映射。其中，max函数是激活函数，它对第一次变换后的结果进行处理，再送给第二个线性变换层。以此类推全.