吴恩达机器学习（四）局部加权回归

使用局部加权回归的原因

在讲义中描述的是：makes the choice of features less critical（为了让特征的选择不是那么重要）
另外，局部加权回归可以用线性回归的方法得到一个非线性的拟合结果。这句话有点奇怪，但了解局部加权回归的原理就能明白其中的原因了。

局部加权回归的原理

相关参数定义：
$m$:训练集数量
$x_1^{(i)}$ :第$i$个训练样本的输入
$y^{(i)}$ :第$i$个训练样本的输出
$h(x_t^{(j)})$:预测函数，对于一维的局部加权回归为：$h(x_t^{(j)})=(x_t^{(j)}{)}^T{\theta }^{(j)}$(请注意：我在这儿特地在$\theta$上添加了一个上标$j$，说明每一个$x_t^{(j)}$对应一个${\theta }^{(j)}$，另外，$x_t^{(j)}$代表感兴趣的点，并不一定是某个样本)
局部加权回归与前面的线性回归相比，其目标函数发生了变化。
$$J({\theta }^{(i)})=\frac{1}{2}\sum _{i=1}^m{w}^{(i)}(y^{(i)}-h(x^{(i)}){)}^2$$
此处$w^{(i)}$为非负权值项，其具体意义讲义中描述的是：if $w^{(i)}$ is large for a particular value of $i$, then in picking $\theta$, we’ll try hard to make $(y(i)-{\theta }^{T}x(i){)}^2$ small. If w(i) is small, then the $(y(i)-{\theta }^{T}x(i){)}^2$ error term will be pretty much ignored in the fit.（对应特定的样本$i$，若$w^{(i)}$较大，则表明该项在拟合中对$\theta$影响更大，相反，若$w^{(i)}$很小，则表明这项对$\theta$影响很小，基本可以忽略不计）
$w^{(i)}$的常用计算方法为：
$$w^{(i)}=exp(-\frac{(x^{(i)}-x{)}^2}{(2{\tau }^2)})$$
由于讲义中没有推导推导算法的解析解，在此简单推导一下：

1. 目标函数
   将目标函数写为矩阵形式，式中变量的定义参见讲义。
   $$J(\theta )=\frac{1}{2}(\vec{y}-X\theta {)}^{T}W(\vec{y}-X\theta )$$
2. 求目标函数最小的$\theta$
   目标函数本质上是一个无约束的二次规划问题，首先求其对$\theta$的梯度(注意$W$为对角矩阵：$W=W^T$)
   $$\begin{gathered} {\nabla }_{\theta }J(\theta )=\frac{1}{2}{\nabla }_{\theta }({\vec{y}}^{T}W\vec{y}-{\vec{y}}^{T}WX\theta -{\theta }^T{X}^{T}W\vec{y}+{\theta }^T{X}^{T}WX\theta ) \\ =\frac{1}{2}{\nabla }_{\theta }({\theta }^T{X}^{T}WX\theta -{\vec{y}}^{T}WX\theta -{\theta }^T{X}^{T}W\vec{y}) \\ =\frac{1}{2}{\nabla }_{\theta }tr({\theta }^T{X}^{T}WX\theta -{\vec{y}}^{T}WX\theta -{\theta }^T{X}^{T}W\vec{y}) \\ =\frac{1}{2}{\nabla }_{\theta }tr({\theta }^T{X}^{T}WX\theta -2{\vec{y}}^{T}WX\theta ) \\ =\frac{1}{2}{\nabla }_{\theta }(tr{\theta }^T{X}^{T}WX\theta -tr2{\vec{y}}^{T}WX\theta ) \\ =\frac{1}{2}(X^T{W}^{T}X\theta +X^{T}WX\theta -2X^{T}W\vec{y}) \\ =X^{T}WX\theta -X^{T}W\vec{y} \end{gathered}$$
   上面的推导中用到的相关矩阵性质可参见讲义（在优快云其他博主的文章里有下载链接）。
   令${\nabla }_{\theta }J(\theta )=0$得到：
   $$\theta =(X^{T}WX{)}^{-1}{X}^{T}W\vec{y}$$

实例

数据来源https://blog.youkuaiyun.com/weixin_43084928/article/details/82529596

%% 局部加权线性回归
% 作者：sddfsAv
% 日期：20190313
% Matlab版本：2018b
% 简介：吴恩达机器学习课程学习例子,数据集来源于https://blog.youkuaiyun.com/weixin_43084928/article/details/82529596
clear
clc

%% 导入原始数据
Data=csvread('Salary_Data.csv',1,0);    % 读取csv数据文件
scatter(Data(:,1),Data(:,2),40,'MarkerEdgeColor',[0 .5 .5],...
              'MarkerFaceColor',[0 .7 .7],...
              'LineWidth',1.5);         % 绘制散点图
title("Experience and Salary");         % 图表标题
xlabel("Experience(years)");            % x轴标题
ylabel("Salary(dollar)");               % y轴标题
hold on;
%% locally weighted linear regression
X=Data(:,1);
Y=Data(:,2);
tao=0.2;                       % bandwidth，带宽
X_target=1:0.02:10.5;
W=zeros(length(X),length(X));   % 初始化矩阵W
Theta=zeros(length(X_target),1);       % 建立一个Theta向量用于存储目标点对应的学习算法参数
for i=1:length(X_target)
    for j=1:length(Data(:,1))
        w=exp(-(X(j)-X_target(i))^2/(2*tao^2));
        W(j,j)=w;
    end
    theta=inv(X'*W*X)*X'*W*Y;
    Theta(i)=theta;
end
Y_hat=Theta.*X_target';
plot(X_target,Y_hat);

拟合结果：

注意：带宽过大会出现欠拟合，带宽过小会出现过拟合。
可以看到整个拟合曲线并不是线性的，这是因为针对每个感兴趣的点，采用局部加权回归得到的$\theta$值是不一样的。

讨论

讲义中说明了钟形函数是一种常用的权值函数选择方法，但并没有说用其他形式的函数不行，因此，可以选择其他函数，比如三角形函数，窗函数或者其他一些有趣形状的函数，看看有什么样的结果。