结合寒老师的课,对CNN近几年的发展进行总结,主要分两部分进行,1.cnn基础模型的改进。2.图像处理框架的改进
1.基础模型改进。
针对CNN模型的主要难点其实分为两个方面,(1)深度网络,难以训练,使用随机梯度下降法在将误差往前传的过程中可能就变成0了,(2)网络初始值难以确定,没有一个合适的初始值,想要训练好一个网络几乎是不可能的。对于第一个问题,除了一些大团队大量的计算外,就是对RELU函数的优化,由此出现的Leaky ReLU,Maxout等
结合寒老师的课,对CNN近几年的发展进行总结,主要分两部分进行,1.cnn基础模型的改进。2.图像处理框架的改进
1.基础模型改进。
针对CNN模型的主要难点其实分为两个方面,(1)深度网络,难以训练,使用随机梯度下降法在将误差往前传的过程中可能就变成0了,(2)网络初始值难以确定,没有一个合适的初始值,想要训练好一个网络几乎是不可能的。对于第一个问题,除了一些大团队大量的计算外,就是对RELU函数的优化,由此出现的Leaky ReLU,Maxout等