【范数】【矩阵特征值】【惩罚函数】【超参数】

1、范数

范数：是定义在数学空间的一个概念，是定义在赋范线性空间的函数，满足一定条件就可以称他为范数

向量范数和矩阵范数

1.1向量范数

向量范数是衡量向量大小的一种度量方式，向量范数是一个定义域为任意线性空间向量的函数，他把一个向量v映射为一个非负实数R，满足f:v--->R

几个角度上：向量x的范数是度量从原点0到x的距离

广义上说，需要满足如下三个条件：

模型最优化时，范数是正则化的主要手段，最常用的p范数，p属于R，p>=1

几个常用的p--范数，

0范数

表示向量中非0元素的个数

1范数

大小为向量的每个元素的绝对值的和

他的单位范数为：

2范数

2范数通常定义的是模

他的单位范数为：

无穷范数

无穷范数的单位圆，矩形-1

1.2、矩阵范数

对于任意一个函数  f:A--->R

函数满足下面四个条件就可以叫做矩阵范数

矩阵范数的公式是由向量范数诱导出来的

1范数

2范数

无穷范数

F范数

 

 

 

2、矩阵特征值

A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

3、惩罚函数

4、超参数

是训练之前就已经设置好的参数，比如说学习率

超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给学习器选择一组最优超参数，以提高学习的性能和效果。比如，树的数量或树的深度，学习率（多种模式）以及k均值聚类中的簇数等都是超参数。

与超参数区别的概念是参数，它是模型训练过程中学习到的一部分，比如回归系数，神经网络权重等。简单的描述参数是模型训练获得的，超参数是人工配置参数（本质上是参数的参数，每次改变超参数，模型都要重新训练）。