高斯回归过程核函数（RBF，Matern，RationalQuadratic，ExpSineSquared，DotProduct）

转载源：http://www.sohu.com/a/252035553_99917536

最近在做高斯回归过程小车倒摆实验。修改了Actor中网络神经元后，及Critic中Batch后，打算看看核函数。

内核操作是把1~2个基内核与新内核进行合并。内核类 Sum通过 相加来合并 和 内核。内核类 Product通过 把 和 内核进行合并。内核类 Exponentiation通过 把基内核与 常量参数 进行合并。

1.径向基函数内核

RBF内核是一个固定内核，它也被称为“平方指数”内核。它通过定长的参数（length_scale） 来对内核进行参数化。该参数既可以是标量（内核的各向同性变体）或者与输入 （内核的各向异性变体） 具有相同数量的维度的向量。该内核可以被定义为：

这个内核是无限可微的，这意味着这个内核作为协方差函数的 GP 具有所有阶数的均方差导数， 因此非常平滑。由RBF内核产生的GP的先验和后验示意图如下所示：

2.Matérn 内核

Matern内核是一个固定内核，是 RBF内核的泛化。它有一个额外的参数 ， 该参数控制结果函数的平滑程度(nu)。它由定长参数(length_scale) 来实现参数化。该参数既可以是标量 （内核的各向同性变体）或者与输入 （内核的各向异性变体）具有相同数量的维度的向量。

通过 灵活控制学习函数的平滑性可以更加适应真正的底层函数关联属性。 通过 Matérn 内核产生的高斯过程的先验和后验如下图所示：

3.有理二次内核

RationalQuadratic内核可以被看做不同特征尺度下的 RBF内核的规模混合（一个无穷和） 它通过长度尺度参数(length_scale) 和比例混合参数(alpha) 进行参数化。 此时仅支持 标量的各向同性变量。内核公式如下：

从 RBF 内核中产生的高斯过程的先验和后验如下图所示：

4.正弦平方内核

ExpSineSquared内核可以对周期性函数进行建模。它由定长参数(length_scale) 以及周期参数(periodicity) 来实现参数化。此时仅支持 标量的各向同性变量。内核公式如下：

从ExpSineSquared内核中产生的高斯过程的先验和后验如下图所示：

5.点乘内核

DotProduct内核是非固定内核，它可以通过在线性回归的相关系数上加上 服从于 的先验以及在线性回归的偏置上加上服从于 的先验来获得。 该 DotProduct内核对于原点坐标的旋转是不变的，因此不是转换。它通过设置参数 来进行参数化。 当 时，该内核叫做同质线性内核；否则该内核是非同质的。内核公式如下：

DotProduct内核通常和指数分布相结合。实例如下图所示：

参考源：Carl Eduard Rasmussen and Christopher K.I. Williams, “Gaussian Processes for Machine Learning”, MIT Press 2006

https://blog.youkuaiyun.com/a_l_a_n/article/details/93888883    文中有参考资源