神经网络笔记

1.概念

        模拟生物的神经系统，对函数进行估计或者近似

2.神经元

        a.神经网络中的基础单元，相互连接。组成神经网络。

        b.

        c.一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量         结果。

3.单层神经网络

        a.最近单的神经网络的形式

4.感知机

        a.两层的神经网络

        b.简单的二分类问题，给定阈值，判断数据属于哪一部分（输出+1正例-1反例）

        c.超平面的分割，对于2维空间就是一条直线把平面分为两部分

5.多层神经网络

        a.输入层

        b.输出层

        c.隐层：可以有多层，每层神经元个数可以不确定

        d.全连接层：第N层和第N-1层中神经元两两之间都有链接

                i.进行是y=wx+b

6.激活函数

        a.线性：

                i.    系统：函数，f,模型，f(x)=y

               ii.    f(x1+x2) = y1+y2

               iii.   f(kx1)=ky1

        b.作用：

                i.增加模型的非线性分割能力

                ii.提供模型的稳定性

                iii.缓解梯度消失

                iv.加速模型的收敛

        c.常见的激活函数

                i.   sigmod: (0,1)

                ii.   tanh: (-1,1)

                iii.  relu: max(0,x)    （常用输入图片格式，像素（0，255））

                iv.  ELU  a(e^x - 1)