3、人工神经网络入门

人工神经网络入门

1. 人工神经网络概述

人工神经网络已成为解决机器学习问题和构建人工智能代理的先进技术。它们还可用于深入了解人类大脑如何从观察中发展出物理直觉。例如，有实验表明神经网络能够预测由木块组成的塔是否稳定。这暗示神经网络的处理过程可能与人类的直觉推理有相似之处。

目前，我们对神经网络的训练过程以及它们为何能很好地泛化到训练中未见过的数据，还缺乏深入理解。训练神经网络需要一定的经验和技巧，这并非易事。

2. 单个人工神经元

神经网络的基本构建块是单个神经元。可以将神经元看作一个映射，它接收多个实数输入 (x_1, \ldots, x_n)，并根据激活函数 (\sigma: \mathbb{R} \to \mathbb{R}) 提供输出 (\sigma(\sum_{i} w_i x_i + b))，其中权重 (w_i \in \mathbb{R}) 和偏置 (b \in \mathbb{R}) 是可调参数。神经元的输出有时也称为激活值，激活函数有多种选择。

例如，阶跃函数：
[
\sigma(z) =
\begin{cases}
1, & \text{if } z > 0 \
0, & \text{if } z \leq 0
\end{cases}
]
使用这种激活函数的神经元称为感知机，它由 Frank Rosenblatt 在 20 世纪 50 年代和 60 年代开发，灵感来自 Warren McCulloch 和 Walter Pitts 的早期工作。感知机的激活函数选择受到生物神经元功能的启发，生物神经元只有在加权输入信