51、深度学习核心概念与技术解析

深度学习核心概念与技术解析

1. 基础概念与数学基础

1.1 范数与函数

在深度学习中，范数是衡量向量大小的重要工具。常见的范数包括 $\ell_2$ 范数、$\ell_{\infty}$ 范数和 $\ell_p$ 范数，它们在不同的场景下有着不同的应用。例如，$\ell_2$ 范数常用于正则化，以防止模型过拟合。
同时，函数在深度学习中也扮演着关键角色。线性函数是最简单的函数形式，而激活函数则为神经网络引入了非线性特性。常见的激活函数有 ReLU、Sigmoid、Tanh 等，它们各自具有不同的特点和适用场景。

范数类型	定义	应用场景
$\ell_2$ 范数	$| | x | | 2 = \sqrt{\sum {i=1}^{n} x_i^2}$	正则化、距离度量
$\ell_{\infty}$ 范数	$| | x | | {\infty} = \max {i} \vert x_i \vert$	边界约束
$\ell_p$ 范数	$| | x | | p = (\sum {i=1}^{n} \vert x_i \vert^p)^{\frac{1