神经网络介绍，激活函数，正则化

1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。

1.1 前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。

1.2 网络层数是指神经网络中的层级。

1.3 输入层是指神经网络中的输入参数这一层这是神经网络的第0层。

1.4 隐藏层是指除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号。

1.5 输出层是指最终结果的输入结果这一层，也是神经网络最后一层。

1.6 隐藏单元是指在隐藏层中一个神经元。

1.7 激活函数是一个能让模型进行收敛的一个函数。

2. 感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。

import tensorflow as tf

input_data = tf.Variable( [[0, 10, -10],[1,2,3]] , dtype = tf.float32 )

output = tf.nn.sigmoid(input_data)

with tf.Session() as sess:

    init = tf.initialize_all_variables()

    sess.run(init)

    print(sess.run(output))

 

3. 激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）

https://blog.youkuaiyun.com/yangdashi888/article/details/78015448

4. 深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介绍。

正则化作用是为了防止过拟合。也叫惩罚项。

https://blog.youkuaiyun.com/xiaoyi_eric/article/details/80909492