weixin_49119476的博客

机器学习分为监督学习和无监督学习、（强化学习）。监督学习（supervised learning)分为回归和分类问题。 无监督学习（unsupervised learning）有聚类、异常检测和降维三个应用。sigmoid函数对应，在最外层加入sigmoid函数（有点像激活函数），就是逻辑回归算法举例子，在cost function中加入额外式子作为新的cost function，会使得w3和w4权重减小。lambda:入，正则化参数红框可加可不加lambda的选择，过大或过小结果都不好

m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。