深度学习笔记（润色）

1. 神经网络原理

1.1 神经元模型

• 基本模型：单个神经元处理多个输入（$x_1,x_2,\dots ,x_n$），生成一个输出（$y$）。公式为：
  $$y=f\left(\sum _{i=1}^n{w}_i{x}_i+b\right)$$
  其中：
  • $w_i$ 是权重（weight），$b$ 是偏置（bias）。
  • $f$ 是激活函数（activation function），引入非线性。
• 矩阵形式：将输入和权重表示为向量，更简洁：
  $$y=f(\mathbf{wx}+b)$$
  这里 $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^T$ 是输入列向量（$n\times 1$），$\mathbf{w}=[w_1,w_2,\dots ,w_n]$ 是权重行向量（$1\times n$）。该模型也称为感知器（Perceptron）。

1.2 神经网络结构

神经网络由多层组成，称为多层感知机（Multi-Layer Perceptron, MLP）。典型结构包括：

1. 输入层：
   • 输入数据 $\mathbf{x}$（例如一个样本有2个特征，维度为 $1\times 2$）。
   • 实践中需重构为列向量（$\mathbf{x}\in {\mathbb{R}}^{2\times 1}$）。
2. 隐藏层（至少一层或多层）：
   • 例如，50维隐藏层：
     $$\mathbf{H}={\mathbf{w}}_1\mathbf{x}+b_1$$
     其中 ${\mathbf{w}}_1$ 是权重矩阵（维度 $50\times 2$），b1b_1b