6.2 构造核(PRML读书笔记)

本文探讨了核函数的三种构造方法:通过特征空间映射、直接构造并验证其合法性、及从概率生成式模型出发。详细讲解了如何利用特征映射和多项式、指数函数等构造合法核函数,并介绍了核函数的合法性验证方法——半正定性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  为了利⽤核替换,我们需要能够构造合法的核函数。有如下几种方法:
  第⼀种⽅法是选择⼀个特征空间映射ϕ(x)\phi(\textbf{x})ϕ(x),然后使⽤这个映射寻找对应的核。按此方法⼀维空间的核函数被定义为
在这里插入图片描述
  第二种⽅法是直接构造核函数。必须确保核函数是合法的,即它对应于某个(可能是⽆穷维)特征空间的标量积。
  确保函数是核函数有如下几种方法:

  • 函数能分解成ϕ(x)Tϕ(x′)\phi(\textbf{x})^T\phi(\textbf{x}^{'})ϕ(x)Tϕ(x的形式
    例如
    在这里插入图片描述
    其中ϕ(x)=(x12,2x1x2,x22)T\phi(\textbf{x})=(x_1^2, \sqrt2x_1x_2,x_2^2)^Tϕ(x)=x12,2x1x2,x22T
    由此可见(xTz)2(\textbf{x}^T\textbf{z})^2(xTz)2是一个合法的核函数
  • 更⼀般地,我们需要找到⼀种更简单的⽅法检验⼀个函数是否是⼀个合法的核函数。k(x,x′)k(\textbf{x},\textbf{x}^{'})k(x,x)是⼀个合法的核函数的充要条件是Gram矩阵(元素由k(xn,xm)k(\textbf{x}_n,\textbf{x}_m)k(xn,xm)给出)在所有的集合{xn}\{\textbf{x}_n\}{xn}的选择下都是半正定的(半正定未必可逆,但是6.1节明明需要可逆。再想想看,6.1下未必一定要可逆
  • 构造新的核函数的⼀个强⼤的⽅法是使⽤简单的核函数作为基本的模块来构造。可以使⽤下⾯的性质来完成这件事。给定合法的核k1(x,x′)k_1(\textbf{x},\textbf{x}^{'})k1(x,x)k2(x,x′)k_2(\textbf{x},\textbf{x}^{'})k2(x,x),下⾯的新核也是合法的
    在这里插入图片描述
    其 中c>0c > 0c>0是 ⼀ 个 常 数, f(⋅)f(·)f()是 任 意 函 数, q(⋅)q(·)q()是 ⼀ 个 系 数 ⾮ 负 的 多 项 式,ϕ(x)\phi(\textbf{x})ϕ(x)是 ⼀ 个从xRMR^MRM的函数, k3(⋅,⋅)k_3(·,·)k3(,)RMR^MRM中的⼀个合法的核, A是⼀个对称半正定矩阵, xa\textbf{x}_axaxb\textbf{x}_bxb是变量(未必相交),且x=(xa;xb)\textbf{x} = (\textbf{x}_a; \textbf{x}_b)x=(xa;xb)

  第三种方法是从⼀个概率⽣成式模型开始构造。
  给定⼀个⽣成式模型p(x),我们可以定义⼀个核
在这里插入图片描述
可以把它看成由映射p(x)p(\textbf{x})p(x)定义的⼀维特征空间中的⼀个内积。它表明,如果两个输⼊xx′\textbf{x}^{'}x都具有较⾼的概率,那么它们就是相似的。
  使⽤公式(6.13)和公式(6.17)扩展这类核,比如扩展为不同概率分布的乘积的加和,带有正的权值系数p(i)p(i)p(i),形式为
在这里插入图片描述
这个核就等价于⼀个混合概率密度。如果两个输⼊xx′\textbf{x}^{'}x在很多不同分量下都有较⼤的概率,那么这两个输⼊将会使核函数输出较⼤的值,因此就表现出相似性。
  在⽆限求和的极限情况下,我们也可以考虑下⾯形式的核函数
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值