1.3. Kernel ridge regression
一、简介
Kernel ridge regression (KRR) (内核岭回归) 对常规岭回归 采用了 “核方法”,因此可以拟合非线性的函数。对于每个非线性的核,它对应了原始空间里的一个非线性的函数。
二、“核方法”简介
参考西瓜书,我们认为,在原始空间里线性函数无法拟合的关系也许 能在高维空间里的线性关系拟合 (这里的说法并不严谨,但意思没错)
按照我这种常人的想法,为了能成功调用线性算法,我会对数据进行“升维”。但是显然,这种“升维”并不现实,我们总不可能强行补n个维度(包括其中的数据),然后还能正巧然这n个维度使得数据可以线性划分。
于是,聪明人想出一种办法。它们先假设数据能在高维中展开,然后我们再根据目标函数在高维中的优化式,定义数据在高维的运算(数据间结构中,体现最多的距离,高维的距离称之为范数,又由不同的内积计算,所以我们一般会选择不同的内积计算方式去