【深度学习入门】深度学习基础

深度学习的基础模型包括：Linear、MLP、CNN、RNN、Transformer。其他的GRU、LSTM、BERT和GPT都是这些基础模型的变体和组合。这些模型实际上都是为了挖掘数据的特征，不同数据的表达都有相较而言适合的模型来解决（如图中的表格、文本和音频对应的模型）。本篇笔记将对这五个基础模型进行概览。（摘录于李沐老师的b站视频课程）

一、Linear Methods 线性模型

线性回归是机器学习最基础的模型，也是所有深度学习模型的基础。

1. 定义

给定 n 维输入 $$\mathbf{x}=[x_1,x_2,...,x_n{]}^T$$
线性模型有一个 n 维权重和一个标量偏差：
$$\mathbf{w}=[w_1,w_2,...,w_n{]}^T，b$$
输出是n维输入的加权和外加偏差：
$$y=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b=⟨\mathbf{w},\mathbf{x}⟩+b$$

2. 训练

• 训练数据（样本）：
  $$\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}{]}^T,\mathbf{y}=[y_1,y_2,...,y_n{]}^T$$
• 训练目标（参数）：
  $$\mathbf{w}=[w_1,w_2,...,w_n{]}^T，b$$
• 训练损失（平方损失）：
  $$\ell (\mathbf{X},$$