同步于Buracag的博客;音尘杂记
后续几篇笔记主要想回顾整理一下需要用到的数学基础知识,主要包括了线性代数、微积分、概念论、数学优化和信息论等内容。相对比较基础,权当复习回顾完善整个知识体系结构。错误之处,还望诸君不吝指教。
1. 向量
标量(Scalar)是一个实数,只有大小,没有方向。而向量(Vector)是由一组实数组成的有序数组,同时具有大小和方向。例,一个n维向量a 是由n个有序实数组成,表示为:
(1.1) a = [ a 1 , a 2 , . . . , a n ] , a = [a_1, a_2, ..., a_n], \tag{1.1} a=[a1,a2,...,an],(1.1)
其中 a i a_i ai称为向量a的第 i i i个分量,或第 i i i维。向量符号通常用黑体小写字母 a , b , c a, b, c a,b,c或小写希腊字母 α , β , γ \alpha,\beta, \gamma α,β,γ 等来表示。
2. 向量空间
向量空间(Vector Space),也称线性空间(Linear Space),是指由向量组成的集合,并满足以下两个条件:
-
向量加法:向量空间 V V V中的两个向量a和b,它们的和a + b也属于空间 V V V;
-
标量乘法:向量空间 V V V中的任一向量a和任一标量 c c c,它们的乘积 c ⋅ a c · a c⋅a也属于空间 V V V。
欧氏空间 一个常用的线性空间是欧氏空间(Euclidean Space)。一个欧氏空间表示通常为 R n \mathbb{R}^n Rn,其中n为空间维度(Dimension)。欧氏空间中向量的加法和标量乘法定义为:
其中 a , b , c ∈ R a, b, c \in{\mathbb{R}} a,b,c∈R为一个标量。
线性子空间 向量空间 V V V的线性子空间 U U U是 V V V的一个子集,并且满足向量空间的条件(向量加法和标量乘法)。
线性无关 线性空间 V V V中的一组向量 v 1 , v 2 , . . . , v n {v_1, v_2, ... , v_n} v1,v2,...,vn,如果对任意的一组标量 λ 1 , λ 2 , . . . , λ n \lambda_1, \lambda_2, ... , \lambda_n λ1,λ2,...,λn,满足 λ 1 v 1 + λ 2 v 2 + ⋅ . . . + λ n v n = 0 \lambda_1v_1 + \lambda_2v_2 + ·... + \lambda_nv_n = 0 λ1v1