17、机器学习中的多种算法与概念解析

机器学习中的多种算法与概念解析

1. 反向传播算法（Backpropagation）

1.1 网络结构

常见的网络结构有标准三层分类网络和一般前馈网络结构。
- 标准三层分类网络 ：四个输入单元投射到五个隐藏单元，隐藏单元再投射到一个输出单元，常用于分类任务。
- 一般前馈网络 ：例如有四个输入、三个隐藏单元和两个输出的网络。

1.2 非线性步骤

单元 (k) 的活动 (a_k) 是 (x_k) 的可微非线性函数，常用的是逻辑函数 (a = \frac{1}{1 + \exp(-x)})，它将范围 ([-1, +1]) 映射到 ([0, 1])，其导数有利于反向传播（BP）的实现。公式为 (a_k = f_k(x_k))，其中 (x_k = b_k + \sum_{j\in FanIn(k)} w_{kj} s_j)。

1.3 梯度下降

BP 的推导是梯度下降优化方法的直接应用，依赖于网络误差的定义。常见的误差函数有：
- 均方误差（SSE） ：(E_{SSE} \equiv \sum_{i\in Output} \sum_{s\in Train} (T_i(s) - r_i(s))^2)
- 交叉熵误差（CE） ：(E_{CE} \equiv \sum_{i\in Output} \sum_{s\in Train} [T_i(s)\ln(r_i(s)) - (1 - T_i(s))\ln(1 - r_i(s))]) <