5、优化数学基础入门

优化数学基础入门

在优化领域，掌握一些基础数学知识至关重要。下面将详细介绍线性代数、向量几何、微积分等方面的基础知识。

1. 向量与几何

1.1 标量与向量

• 标量 ：由大小和符号决定的量，如长度、温度和速度。
• 向量 ：由大小和方向共同决定的量，是有向线段，例如速度和力。在笛卡尔坐标系中，向量 $\vec{a}$ 可表示为 $\vec{a} = a_1\vec{i} + a_2\vec{j} + a_3\vec{k}$，其模长为 $|\vec{a}| = \sqrt{a_1^2 + a_2^2 + a_3^2}$。向量 $\vec{x}$ 的长度也称为向量的范数（或欧几里得范数），记为 $|\vec{x}|$。点 $A: {x,y,z}$ 的位置向量是从坐标轴原点到点 $A$ 的向量。

1.2 点积

两个向量的点积（或内积）得到一个标量。数学上，两个向量 $\vec{a}$ 和 $\vec{b}$ 的点积，记为 $\vec{a} \cdot \vec{b}$，等于它们的长度之积乘以它们之间夹角 $\theta$ 的余弦值，即 $\vec{a} \cdot \vec{b} = |\vec{a}||\vec{b}| \cos \theta$。用向量分量表示为：若 $\vec{a} = a_1\vec{i} + a_2\vec{j} + a_3\vec{k}$，$\vec{b} = b_1\vec{i} + b_2\vec{j} + b_3\vec{k}$，则 $\vec{a} \cdot \vec{b} = a_