Task5

前馈神经网络原理

BP神经网络讲解

from keras.layers.core import Dense, Activation, Dropout
from keras.layers.normalization import BatchNormalization
from keras import Sequential
model = Sequential()
model.add(Dense(200,input_dim = 50 ,activation = 'sigmoid'))
model.add(Dropout(.25))
model.add(BatchNormalization())

model.add(Dense(200 ,activation = 'sigmoid'))
model.add(Dropout(.25))
model.add(BatchNormalization())

model.add(Dense(3,activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam')

激活函数的种类以及各自的提出背景、优缺点

深度学习使用到的激活函数种类和优缺点解释！

深度学习中的正则化

Deep Learning读书笔记3—深度学习中的正则化

深度模型中的优化

Deep Learning读书笔记4—深度模型中的优化

参数初始化策略

深度学习之参数初始化策略

batch norm层

深入浅出——深度学习中的Batch Normalization使用
详解深度学习中的 Normalization，不只是 BN

layer nor层

Layer Normalization