- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【已解决】代码在pycharm上可以正常运行，在linux服务器报错No module named
【已解决】代码在pycharm上可以正常运行，在linux服务器报错No module named
2022-07-30 10:07:23
2064
原创 2 Resnet系列网络模型改进
首先是Resnet系列，原始的resnet网络在输入层有一个7*7，s=2的大卷积和3*3，s=2的最大池化层，中间层是由3*3或1*1小卷积组成的残差块的堆叠，输出层是一个全局平均池化和预测类别的全连接。2.1 resnet-v2在resnet-v2网络中[54]，何恺明在原版的理论基础上做了组件的位置调换，如图8。在原有组件分布中，灰色路线的Relu在add之后，残差块的输出非负，不利于简化优化，所以Relu应放在右侧分支层，保持灰色路线add后数据分布不变。BN层应位于Relu层之前，因为mi
2021-05-07 19:31:11
9745
1
原创 1.6 大型深网与恒等映射
人们发现当深网深到一定程度时，模型的性能逐渐上升至饱和，然后下降，这被称为网络退化问题。网络退化的原因是非线性激活函数造成的不可逆信息损失[52]，因此深层网络比浅层网络错误率更高，更难以被优化。为了解决这样的问题，需要提出一个能解决“恒等映射”的想法——哪怕更深的层什么都不做，也比变差更好（保留深层提取语义信息的能力和至少不网络退化）。有了需求，一个满足需求的更大突破到来了。2015年ILSVRC竞赛冠军Resnet的成绩为3.57%（2014年冠军成绩为6.7%），模型深度达到了恐怖的152
2021-05-07 19:24:48
1147
原创 1.5 权值初始化和BN
在BN出现之前，权值初始化决定了神经网络的初始优化位置，如图6。正向传播时，神经元的输出会被作为激活函数的输入来进行激活判断。如果神经元的输出不合适，则难以优化（恒为0或1），神经元的输出应当控制在均值为0，方差为1的范围内比较合适。为了使神经元输出控制在这个范围内，如此处神经元输出范围为N~（0，1）正态分布，该神经元的输入有n个神经元，则权重矩阵元素初始化就应当为N~（0，1/n），如式5。在反向传播时，由于梯度的连乘效应（梯度=激活层1斜率*权重1*激活层2斜率*权重。。），权值的过大或过小会
2021-05-07 19:19:58
641
原创 1.3 感知机、支持向量机和CNN的联系和区别
感知机的可变量是线性式中的权值w和偏差b，数学表达式是y=wx+b（这条线称为超平面），然后激活函数将低于这个线性式的信息抑制，低于线性式的信息激活，平面可视化为图3。但是这种分离往往不是最优的，泛化性能不好。一个线性可分数据集的超平面有无数个，如何选取最优的那个呢？SVM对此做出了改进。为了获得最优泛化性能的超平面，SVM首先根据KKT条件选取具有约束作用的支持向量（靠近边界的学习样本），通过几何间隔最大化的思想，将最优超平面的问题转化为支持向量与超平面欧氏距离最大化，再转化为带有一次项条件的L2
2021-05-07 19:13:20
1387
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人