7、神经网络基础：人工神经元与计算原理解析

神经网络基础：人工神经元与计算原理解析

1. 神经网络的整合特性

神经网络可被视为一种整合框架，类似于人类大脑，它鼓励我们将各种子任务和组件组合成一个统一的系统。这种统一和整合的需求是人工神经网络（ANN）方法区别于早期研究风格的关键因素之一。

2. 人工神经元概述

人工神经元有多种类型，大多数可抽象为具有输入、输出和内部状态的形式化对象。输入信号集 (X) 可通过多条输入线 (x_1, \cdots, x_n) 传输，输出线为 (y)，神经元还有属于状态集 (S) 的内部状态 (s)。

神经元可分为离散时间和连续时间两种类型：
- 离散时间神经元 ：由两个函数确定，即下一状态函数 (f: X^n \times S \to S)，(s(t) = f(x_1(t - 1), \cdots, x_n(t - 1), s(t - 1)))；输出函数 (g: S \to Y)，(y(t) = g(s(t)))。常见的信号集 (X) 可以是二进制集 ({0, 1}) 或 ({-1, +1})，也可以是实数区间，如 ([0, 1])；状态集常取为实数集 (\mathbb{R})。
- 连续时间神经元 ：同样由 (f: X^n \times S \to S) 和 (g: S \to Y) 两个函数确定，但 (f) 用于定义状态的变化率，即提供定义状态动态的微分方程的右侧。信号集 (X) 通常为实数区间，如 ([0, 1])，状态集为 (\mathbb{R})。

以下是神经元类型的对比表格：
| 神经元类型 | 时间特性 | 确定函数 | 信号集