Linear Algebra Review (3) -- inner product、norm、cachyschwaz inequality

内积

向量空间（此处的向量是抽象的向量，可以是vector、matrix、甚至是function）中有两个向量 x 和 y，通常我们会很自然的想到这两个向量之间是有关系的，那么怎样去衡量这样一种关系？这就引出了内积的概念。内积就是向量空间 V 中的向量对 x和y 的一个运算， 它使得x,y与一个实数 <x,y>产生了关联。

当然为了方便运用，我们为这种运算提供了一些限制条件：

(1) <x, x> >= 0  ：自身与自身的内积必须是正数，且等式成立的充要条件是 x 并非0向量

(2) <x, y> = <y, x>：即满足交换律，这点好理解，向量之间的关系的强弱应该是相互的

(3) ：即满足分配率，当然也能推出：

      

对于内积的定义，我们来举个特殊一点的例子，定义在[a, b]上的函数空间里，内积可以定义为：

                                                               

内积空间

有了内积，再看内积空间就容易了。按照字面的意思理解， 内积空间就是定义了向量内积的向量空间。

范数

内积是衡量不同向量之间关系的一种工具，对于一个向量自身我们也有一种工具来衡量它的大小。即范数，我们来看下对于范数需要满足的条件：

(1)  

(2)  

(3)   。 这点很像三角不等式（确切说不是像，三角不等式是该式的具体形式）

插一个有意思定理，也是勾股定理在内积空间下的扩展，毕达哥拉斯定理：若u和v为一个内积空间V中的正交向量（<u,v> = 0），则：

                                                                        。

证明之间从左往右推就可以。

常见的范数

L1和L2范数就不说了，范数的通用形式为：

                                                    

L范数中比较特殊的是范数，也被称为最大范数：

                                                

Frobenius范数作为一种常用的矩阵的范数，也是需要了解的：

                                                  

简而言之，就是把每个entity都平方之后再求和

柯西施瓦茨不等式

柯西施瓦茨不等式在很多场景下都可以看到，个人认为还是把它记住比较好。其形式也非常简单，对于内积空间中两个向量u和v，我们有：

                                                                          

这里的，当且仅当u和v线性相关时，等式成立。证明主要用到了毕达哥拉斯定理和内积空间的投影性质。

 

参考文献：

[1] Linear Algbra with Applications (Steven J.Leon)

[2] 深度学习（花书）