sklearn(十三)：Kernel ridge regression(KRR)

Sarah ฅʕ•̫͡•ʔฅ

已于 2022-05-24 18:08:17 修改

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Sklearn 文章标签： sklearn 人工智能 python

于 2018-10-02 20:05:25 首次发布

本文链接：https://blog.youkuaiyun.com/u014765410/article/details/82927982

Sklearn 专栏收录该内容

27 篇文章

订阅专栏

本文深入解析Kernel岭回归(KRR)，一种结合核技巧的岭回归方法，实现线性模型的非线性转换。对比支持向量回归(SVR)，KRR采用平方误差损失，适用于中等规模数据集(n_samples<1000)，并提供封闭式解决方案，提升拟合速度。文中还提供了sklearn库的代码示例，详细解释了KRR模型参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、Kernel Ridge regression是在ridge regression上应用kernel trick，来实现linear model的non-linear转化；
KRR与support vector regression(SVR)比较：二者学习的model形式一致，但是其loss function存在差异：KRR用的是squared error loss，SVR用的是 ϵ-insensitive loss，二者都采用了L2 regularization。与SVR相比，KRR可以获得一个封闭式的解决方案（closed-form solution），在medium-size data（n_sample<1000），拟合速度较快。但是由于SVR可以获得一个稀疏model，因此其prediction time要快于KRR。
2、code示例:

sklearn.kernel_ridge.KernelRidge(alpha=1, kernel=’linear’, gamma=None, degree=3, coef0=1, kernel_params=None)
#alpha：相当于正则项系数的倒数，值越大，正则项强度越低；
#kernel：所用的kernel函数
#gamma：kernel参数；Gamma parameter for the RBF, laplacian, polynomial, exponential chi2 and sigmoid kernels. 
#degree：for polynomial kernel
#coef0：polynomial ，sigmoidkernel中，常数项的系数
#kernel_params：其它的kernel参数