深度学习——优化方法

博客介绍了神经网络的优化方法,包括激活函数、反向传播更新函数等。还提及解决过拟合的方法,如扩大训练集、采用正则化等。指出深度网络会出现梯度消失问题,可用Rectified Linear Function解决,CNN对过拟合有防止作用,且能减少参数数量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【优化方法】
(1)激活函数,有逻辑函数、sigmoid函数、softmax函数、Rectified Linear等。
(2)反向传播更新w和b的函数有:实际值与预测值之差的二次函数、cross-entropy函数、log-likelyhood函数等。
(3)overfitting指的是在training set中结果很好,但在test set中结果不好,解决方法有扩大training set(比如:原始集旋转后的集合),增加validation set,采用Regulization L1/L2方法(优化反向参数更新方程),Dropout方法(优化神经网络结构),Rectified Linear Units替代sigmoid可避免overfitting(不同层学习率差别大的问题)。
(4)可以采用验证集validation set来评估训练集training set是否overfitting,最后通过测试集test set测试结果。
(5)优化初始化参数生成的正态分布函数,均值为0,标准差为1/sqrt(num_input),可以提高最终结果的精度、减少训练次数加快收敛速度。
(6)提高最终的准确率方法:扩大训练集、采用CNN+NN的方法,激活函数采用Rectified Linear,Dropout方法,Ensemble of network(训练多个神经网络之后投票解决最终结果)等。
这里写图片描述
当神经网络的层数变多后成为深度网络,由于梯度下降算法的固有缺点会导致逐层网络中的偏移量b的学习率会逐渐变小或变大,出现学习不稳定的现象,导致参数更新有问题vanishing gradient。可以将原先神经元中的sigmoid激活函数换成Max函数Rectified Linear Function(ReL)得以解决。

CNN本身的convolution层对于overfitting有防止作用:共享的权重造成convolution filter强迫对于整个图像进行学习。使用CNN可以大大减少参数数量。

目前最终的神经网络有20多层
这里写图片描述
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值