内积
向量空间(此处的向量是抽象的向量,可以是vector、matrix、甚至是function)中有两个向量 x 和 y,通常我们会很自然的想到这两个向量之间是有关系的,那么怎样去衡量这样一种关系?这就引出了内积的概念。内积就是向量空间 V 中的向量对 x和y 的一个运算, 它使得x,y与一个实数 <x,y>产生了关联。
当然为了方便运用,我们为这种运算提供了一些限制条件:
(1) <x, x> >= 0 :自身与自身的内积必须是正数,且等式成立的充要条件是 x 并非0向量
(2) <x, y> = <y, x>:即满足交换律,这点好理解,向量之间的关系的强弱应该是相互的
(3) :即满足分配率,当然也能推出:
对于内积的定义,我们来举个特殊一点的例子,定义在[a, b]上的函数空间里,内积可以定义为:
内积空间
有了内积,再看内积空间就容易了。按照字面的意思理解, 内积空间就是定义了向量内积的向量空间。
范数
内积是衡量不同向量之间关系的一种工具,对于一个向量自身我们也有一种工具来衡量它的大小。即范数,我们来看下对于范数需要满足的条件:
(1)
(2)
(3) 。 这点很像三角不等式(确切说不是像,三角不等式是该式的具体形式)
插一个有意思定理,也是勾股定理在内积空间下的扩展,毕达哥拉斯定理:若u和v为一个内积空间V中的正交向量(<u,v> = 0),则:
。
证明之间从左往右推就可以。
常见的范数
L1和L2范数就不说了,范数的通用形式为:
L范数中比较特殊的是范数,也被称为最大范数:
Frobenius范数作为一种常用的矩阵的范数,也是需要了解的:
简而言之,就是把每个entity都平方之后再求和
柯西施瓦茨不等式
柯西施瓦茨不等式在很多场景下都可以看到,个人认为还是把它记住比较好。其形式也非常简单,对于内积空间中两个向量u和v,我们有:
这里的,当且仅当u和v线性相关时,等式成立。证明主要用到了毕达哥拉斯定理和内积空间的投影性质。
参考文献:
[1] Linear Algbra with Applications (Steven J.Leon)
[2] 深度学习(花书)