5、浅神经网络与深度神经网络解析

浅神经网络与深度神经网络解析

1. 浅神经网络基础

浅神经网络由输入层、隐藏层和输出层组成，层与层之间通过前向连接相连，这种模型也被称为前馈网络。当一层中的每个变量都与下一层的每个变量相连时，我们称其为全连接网络。连接代表着底层方程中的斜率参数，这些参数被称为权重。隐藏层中的变量被称为神经元或隐藏单元，输入到隐藏单元的值称为预激活值，经过ReLU函数处理后的值称为激活值。除了权重，还有偏移参数，被称为偏置。

浅神经网络的工作流程如下：
1. 计算输入的多个线性函数。
2. 将每个结果通过激活函数处理。
3. 对这些激活值进行线性组合以形成输出。

浅神经网络通过将输入空间划分为分段线性区域的连续表面，基于输入x进行预测y。只要有足够的隐藏单元（神经元），浅神经网络可以以任意精度逼近任何连续函数。

2. 神经网络的历史与激活函数

神经网络的发展历程丰富多样。早在1943年，McCulloch和Pitts提出了人工神经元的概念，但当时没有实用的学习算法。1958年，Rosenblatt开发了感知机，它对输入进行线性组合并进行阈值处理以做出是/否的决策，同时还提供了从数据中学习权重的算法。1969年，Minsky和Papert指出线性函数对于一般分类问题是不够的，但添加具有非线性激活函数的隐藏层（即多层感知机）可以学习更通用的输入/输出关系。直到20世纪80年代，反向传播算法的出现才使得神经网络的研究重新兴起。

激活函数在神经网络中起着至关重要的作用。早期，逻辑Sigmoid或tanh激活函数更为常用。ReLU函数早在1969年就已被使用，后来在2009 - 2011年期间被重新推广，成为现代神