Kernel Regularized Least Squares(KRLS)

RLS在很多情况下只比SVM略差，其目标函数是

f(x) = w * x  + b

通过在x最后增加一个维度，则b可融合进w，则

f(x) = w * x

利用kernel trick

1. 映射到高维度，令w = sum{ alpha * g(x) }

    g(x)是一个到维度的映射，实际中是不需要定义这个映射的

    矩阵形式W = A * G

2.点乘

   把上面的w，带入目标函数，得到 f(x) = sum{ alpha * k(x,x') }

   其中k(x,y)是核函数，k(x,y) = g(x) * g(y)

   矩阵形式f(x) = A * K

RLS的损失函数L定义为

其中y是输出目标，N是样本个数，lambda是可调参数，R(f)是对模型复杂度的约束，有多种不同定义，此处取

R(f) = w^2

其矩阵形式R(f) = A^2 * K 

L的矩阵形式为