本文简明介绍核方法，用于解决非线性回归问题。通过非线性变换ψ，将线性函数应用于非线性空间，以线性组合方式表示非线性函数f(z)。核函数κ(xi,xj)=ψ(xi)ψ(xj)是关键，它允许使用线性优化技术求解。脊回归示例中，α=(K+λI)−1y，其中α在对偶空间中，而w在原空间。核方法虽增加计算复杂度，但能有效处理复杂的非线性问题。"
108043365,9829549,STM32F4外部中断入门：按键中断实现,"['stm32', '单片机', 'c语言']
本文不做数学推导，仅从最简单的概念上讲解核方法。
问题
有训练样本 x i x_i xi，其标定 y i y_i yi, i=1,2…N。
欲求解一个回归函数 f ( z ) f(z) f(z)，希望 f ( x i ) = y i f(x_i)=y_i f(xi)=yi。
线性回归
使用线性函数来预测，即 f ( z ) = w T z f(z)=w^Tz f(z)=wTz。
求解方法有许多种，以脊回归(Ridge Regression)为例，最小化下列函数即可：
λ ∣ ∣ w ∣ ∣ 2 + ∑ i ( w T x i − y i ) 2 \lambda||w||^2+\sum_i(w^Tx_i-y_i)^2 λ∣∣w∣∣2+i∑(wTxi−yi)
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
