Linear Algebra Review (3) -- inner product、norm、cachyschwaz inequality

本文深入探讨了向量空间中的内积概念及其属性,包括正定性、对称性和线性。同时,介绍了内积空间下的范数定义,如L1、L2和Frobenius范数,并讨论了柯西施瓦茨不等式和毕达哥拉斯定理在内积空间的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

内积

向量空间(此处的向量是抽象的向量,可以是vector、matrix、甚至是function)中有两个向量 x 和 y,通常我们会很自然的想到这两个向量之间是有关系的,那么怎样去衡量这样一种关系?这就引出了内积的概念。内积就是向量空间 V 中的向量对 x和y 的一个运算, 它使得x,y与一个实数 <x,y>产生了关联。

当然为了方便运用,我们为这种运算提供了一些限制条件:

(1) <x, x> >= 0  :自身与自身的内积必须是正数,且等式成立的充要条件是 x 并非0向量

(2) <x, y> = <y, x>:即满足交换律,这点好理解,向量之间的关系的强弱应该是相互的

(3) <\alpha x + \beta y, z> = \alpha <x, z> + \beta<y, z>:即满足分配率,当然也能推出:

      <\alpha x, z> = \alpha <x, z>

对于内积的定义,我们来举个特殊一点的例子,定义在[a, b]上的函数空间里,内积可以定义为:

                                                               <f, g> =\int_{a}^{b} f(x)g(x) dx

内积空间

有了内积,再看内积空间就容易了。按照字面的意思理解, 内积空间就是定义了向量内积的向量空间。

范数

内积是衡量不同向量之间关系的一种工具,对于一个向量自身我们也有一种工具来衡量它的大小。即范数,我们来看下对于范数需要满足的条件:

(1)  \left \| v \right \| \geqslant 0

(2)  \left \| \alpha v \right \| = |\alpha | \left \| v \right \|

(3)  \left \| v + w \right \| \leqslant \left \| v \right \| + \left \| w \right \| 。 这点很像三角不等式(确切说不是像,三角不等式是该式的具体形式)

插一个有意思定理,也是勾股定理在内积空间下的扩展,毕达哥拉斯定理:若u和v为一个内积空间V中的正交向量(<u,v> = 0),则:

                                                                        \left \| u + v \right \|^2 = \left \| u \right \|^2 + \left \| v \right \|^2

证明之间从左往右推就可以。

常见的范数

L1和L2范数就不说了,L^{p}范数的通用形式为:

                                                    

L范数中比较特殊的是L^{\infty }范数,也被称为最大范数:

                                                

Frobenius范数作为一种常用的矩阵的范数,也是需要了解的:

                                                  

简而言之,就是把每个entity都平方之后再求和

柯西施瓦茨不等式

柯西施瓦茨不等式在很多场景下都可以看到,个人认为还是把它记住比较好。其形式也非常简单,对于内积空间中两个向量u和v,我们有:

                                                                          |<u,v>| \leqslant \left \| u \right \| \left \| v \right \|

这里的\left \| v \right \| = \sqrt{<v,v>},当且仅当u和v线性相关时,等式成立。证明主要用到了毕达哥拉斯定理和内积空间的投影性质。

 

参考文献:

[1] Linear Algbra with Applications (Steven J.Leon)

[2] 深度学习(花书)                                                                         

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值