【First-order Methods】 1 Vector Spaces（基础的）

最新推荐文章于 2025-05-20 15:34:27 发布

原创最新推荐文章于 2025-05-20 15:34:27 发布 · 659 阅读

CC 4.0 BY-SA版权

文章标签：

12 篇文章

订阅专栏

本文深入探讨了优化领域的核心概念，包括向量空间、范数、内积、凸集及矩阵范数等，详解了R^n与R^mn空间中各种范数的定义与应用，以及对偶空间和对偶范数的原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文献：first-order methods in optimization: Amir Beck

1 Vector Spaces

1.1-1.4 基本空间、维数、范数、内积的概念

1.5 凸集、仿射集的定义【凸集分离定理】

1.6 内积诱导的欧几里得范数

1.7 R^n空间：主要是向量的p范数和无穷范数

1.8 R^mn空间：矩阵的范数 F范数 ab范数 2（谱）范数 1范数无穷范数【谱范数EVD SVD、1 无穷范数的定义】

1.11 对偶空间对偶范数【2范数的对偶范数】

affine set: $\forall x,y\in S(S\subseteq \mathbb{E} \quad is\, a\, real\, vector\, space,\,\lambda \in \mathbb{R})$ , $\lambda x+(1-\lambda )y\in S$ holds.
aff(S): for a set $S\subseteq E$ , aff(S) is the intersection of affine sets containing S.Clearly, it is the smallest affine set that containing S.
hypeplane: $H_{a,b}={x\in \mathbb{E}\,:\left \langle a,x \right \rangle=b}$ , $(a\in \mathbb{E},\, b\in \mathbb{R})$
half-spaces: $H_{a,b}={x\in \mathbb{E}\,:\left \langle a,x \right \rangle\leq b}$ , $(a\in \mathbb{E},\, b\in \mathbb{R})$

Q-inner product : $\left \langle x,y \right \rangle_{Q}=x^{T}Qy$
norm of vector： p-范数： $\left \| x \right \|_{p}=\left ( \sum_{i=1}^{n}\left | x_{i} \right | ^{p}\right )^{\frac{1}{p}}$ $\infty$ -范数： $\left \| x \right \|_{\infty}=max\left | x_{i} \right |$
norm of martix：列范数： $\left \| A \right \|_{_{1}}=max\limits_{1\leq j\leq n}\sum_{i=1}^{n}\left | a_{ij} \right |$ 行范数： $\left \| A \right \|_{\infty}=max\limits_{1\leq i\leq n}\sum_{j=1}^{n}\left | a_{ij} \right |$ 2-范数： $\left \| A \right \|_{2}=\sqrt{ \lambda_{max}(A^{T}A)}$ 21-范数： $\left \| A \right \|_{_{2,1}}=\sum_{i=1}^{n}\sqrt {\sum_{j=1}^{m}a_{ij}^{2}}=\sum_{i=1}^{n}\left \| A_{i,:} \right \|$ (每行2-范数求和)

nongegative orthant: $\mathbb{R}_{+}^{n}=(x_{1},x_{2},\,. \,.\,.\,.,x_{n})^{T}:\,x_{1},x_{2},\,. \,.\,.\,.,x_{n}\geq 0}$ (向量元素都大于等于0的）
positive orthant: $\mathbb{R}_{++}^{n}=(x_{1},x_{2},\,. \,.\,.\,.,x_{n})^{T}:\,x_{1},x_{2},\,. \,.\,.\,.,x_{n}> 0}$ (向量元素都大于0的）
unit simplex: $\bigtriangleup _{n}={x\in \mathbb{R^{n}}:x\geq 0,\, e^{T}x=1}$ (向量元素都大于等于0的且和为1的）

$\left \langle A,B \right \rangle=Tr(A^{T}B)=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{_{ij}},\quad A,B\in \mathbb{R}^{m\times n}$

Frobenius norm: $\left \| A \right \|_{F}=\sqrt{Tr(A^{T}A)}=\sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}^{2}}$
(a, b)-norm: $\left \| A \right \|_{a,b}=max\left\{\left \| Ax \right \|_{b}:\left \| x \right \|_{a}\leq 1\right\}$

linear functional: $\boldsymbol{A}:\mathbb{E}\rightarrow \mathbb{R}$
dual space $\mathbb{E}^{*}$ : all linear functional on $\mathbb{E}$
$f\in \mathbb{E}^{*},\exists v\in \mathbb{E},\ s.t.\,f(x)=\left \langle v,x \right \rangle$
dual norm: $\left \| f \right \|_{*}=max_{x}\left \{ \left \langle f,x \right \rangle :\left \| x \right \|\leq 1\right \}=sup\left \{ \frac{\left | f(x) \right |}{\left \| x \right \|} ,x\neq 0\right \}=sup\left \{ \frac{\left \langle v,x \right \rangle}{\left \| x \right \|} ,x\neq 0\right \}$
generalized Cauchy-Schwars inequlity: $\left | \left \langle f,x \right \rangle \right |\leq \left \| f \right \|_{_{*}}\left \| x \right \|\,for \,any \,f\in\mathbb{E}^{*},x\in\mathbb{E}$
向量范数对偶：需满足 $\frac{1}{p}+\frac{1}{q}=1$ ，如 1与 $\infty$ 范数，2范数本身
矩阵范数对偶：谱范数-核范数（特征值之和）