深度学习
关注
分享
扫一扫
深度学习
ACerXiaoLuBan
这个作者很懒，什么都没留下…
展开
-
生成模型PixelRNN、PixelCNN、Variational Autoencoders(VAE)、Generative Adversarial Networks(GAN)
摘录自北京邮电大学计算机学院鲁鹏老师的PPT1 监督学习VS无监督学习2 生成模型2.1 PixelRNN 与 PixelCNN2.2 Variational Autoencoders(VAE)原创 2021-05-08 14:11:29 · 392 阅读 · 0 评论 -
卷积操作、高斯卷积核、图像噪声和中值滤波器
1图像去燥与卷积2高斯卷积核当卷积核的尺寸不变时，方差越大，高斯分布越扁平，平滑效果明显。当方差不变时，模板尺寸越大，进行归一化时当前点的值越小，平滑效果越强。...原创 2021-04-21 15:05:14 · 2409 阅读 · 0 评论 -
神经网络中的超参数优化方法
摘录自北京邮电大学计算机学院鲁鹏老师的PPT原创 2021-04-21 09:32:50 · 987 阅读 · 0 评论 -
过拟合、欠拟合与Dropout
摘录自北京邮电大学计算机学院鲁鹏老师的PPT1 过拟合与欠拟合1.1 什么是过拟合和欠拟合？原创 2021-04-21 08:49:12 · 256 阅读 · 0 评论 -
全连接操作后Batch Normalization（批归一化）和卷积操作后的Batch Normalization（批归一化）
摘录自北京邮电大学计算机学院鲁鹏老师的PPT摘录自北京大学软件与微电子学院曹健老师的PPT1.对神经网络的输出进行Batch Normalization（批归一化）小批量梯度下降算法回顾：每次迭代时会读入一批数据，比如32个样本；将过当前神经元后会有32个输出值y1,y1…y32。批归一化操作：对32个输出进行减均值除方差操作；可保证当前神经元的输出值的分布符合0均值1方差。2.卷积操作后的Batch Normalization（批归一化）...原创 2021-04-20 20:33:51 · 2155 阅读 · 3 评论 -
神经网络中的权值初始化
1.1全零初始化1.2随机权值初始化1.3Xavier初始化1.4HE初始化(MSRA)1.5小结原创 2021-04-20 16:14:04 · 387 阅读 · 0 评论 -
常用的神经网络中的激活函数Sigmoid、Tanh、Relu、Leaky Relu
摘录自北京大学软件与微电子学院曹健老师的PPT原创 2021-04-20 10:33:59 · 282 阅读 · 0 评论 -
多类支撑向量机损失和交叉熵损失及L1、L2正则项
摘录自北京邮电大学计算机学院鲁鹏老师的PPTQ1：多类支撑向量机损失Li的最大/最小值会是多少？A1：依据多类支撑向量机损失的图像即可得解，最大值为无穷，最小值为0。Q2：如果初始化时w和b很小，损失L会是什么？A2：取极端情况，当w和b趋近于0时，那么计算出的Sij和Syi都趋近于0，所以Li的值趋近于N-1。L的值接近于N-1。可以用于检验编码是否有误。Q3：考虑所有类别（包括j = yi），损失Li会有什么变化？A3：Li会比原来不考虑j=yi的情况多1，对损失没有影响。Q4原创 2021-04-19 21:28:50 · 1824 阅读 · 0 评论 -
一文搞懂神经网络参数优化器SGD、SGDM、Adagrad、RMSProp、Adam
鉴于公式不便于书写，所以采用手写。原创 2021-04-18 20:21:34 · 3118 阅读 · 0 评论 -
AlexNet、ZFNet、VGG、GoogleNet、 ResNet神经网络解析
综述ImageNet大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge,ILSVRC）计算机视觉领域最具有权威性的学术竞赛之一由斯坦福大学李飞飞教授主导制作，其中包含了超过1400万张全尺寸的有标记图片ILSVRC从ImageNet数据集中抽取子集作为竞赛数据AlexNetAlexNet:2012年ImageNet大规模视觉识别挑战赛冠军，精度提升超过10个百分点。AlexNet验证了深度卷积神经网络的高效性。主要贡原创 2021-03-12 14:06:41 · 945 阅读 · 0 评论