Datawhale西瓜书学习笔记TASK6——神经网络

小白学习笔记，有误请指正

目录

一、神经元模型

1.概念解读

2.模型参考

二、感知机与多层网络

1.感知机

2.多层网络（多层感知机，MLP）

三、误差逆传播算法

1.概念

2.算法流程

四、全局最小与局部极小

1.二者的定义

2.接近全局最小的方法

五、深度学习

六、参考文献

---

一、神经元模型

1.概念解读

      在提出神经元模型之前，现区分一下机器学习中的“神经网络”与生物学的“神经网络”进行一个简要的区分。

      在机器学习里，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

       即，机器学习里的神经网络的概念与生物学里的神经网络的概念是交叉的。

       神经元：神经元模型是人工神经网络的基本组成单元，灵感来源于生物神经元的工作原理。最简单的神经元模型是感知机模型，输入信号通过加权和与激活函数进行处理，产生输出信号。

2.模型参考

        M-P神经元模型：经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阀值进行比较，然后通过激活函数（响应函数）处理以产生神经元的输出。

        而激活函数，我们理想中的激活函数是下图的阶跃函数，但由于现实里信号输出的变换需要有一定时间，且其不平滑、不连续的性质，因此我们常常使用sigmoid函数来代替。

        神经网络即是很多个神经元组成的，一个神经网络连接了很多个数学模型，而一个数学模型里又包含了很多函数。

二、感知机与多层网络

1.感知机

       感知机是最基础的神经网络模型，用于二分类任务。其通过一个线性加权和加上偏置，再通过激活函数输出结果。感知机的主要问题是无法解决非线性可分问题，如异或问题。

      感知机(Perceptron)由两层神经元组成，如图5.3所示，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称"阔值逻辑单元"(threshold logic unit)。

        感知机可以使用“与、或、非”运算（线性可分），但他的运用需要注意 这个函数。