1.3. Kernel ridge regression（内核岭回归）

1.3. Kernel ridge regression

一、简介

Kernel ridge regression (KRR) （内核岭回归） 对常规岭回归 采用了 “核方法”，因此可以拟合非线性的函数。对于每个非线性的核，它对应了原始空间里的一个非线性的函数。

二、“核方法”简介

参考西瓜书，我们认为，在原始空间里线性函数无法拟合的关系也许 能在高维空间里的线性关系拟合 （这里的说法并不严谨，但意思没错）

按照我这种常人的想法，为了能成功调用线性算法，我会对数据进行“升维”。但是显然，这种“升维”并不现实，我们总不可能强行补n个维度（包括其中的数据），然后还能正巧然这n个维度使得数据可以线性划分。

于是，聪明人想出一种办法。它们先假设数据能在高维中展开，然后我们再根据目标函数在高维中的优化式，定义数据在高维的运算（数据间结构中，体现最多的距离，高维的距离称之为范数，又由不同的内积计算，所以我们一般会选择不同的内积计算方式去