机器学习入门--监督学习（一）线性回归

    初入机器学习，根据吴恩达的机器学习课程学习，根据1978-2012年农村收入与支出数据进行线性回归相关知识的练习。hello.txt数据是从网上得到。

matlab代码

%% linear regression from sunjerdege with matlab  
clear;  
%% read GDP data  
% c1: city；c2：population；c3：GDP  
[ x,y] = textread('hello.txt','%f%f');  
[num tem] = size(x);  
x = x/1000;  
y = y/1000;  
  
% 先看看整体是否有线性的趋势  
figure  
hold on  
plot(x, y, 'b.');  
title('1978-2012全国农村居民收入与支出散点图');  
xlabel('人均收入（千元）');  
ylabel('人均支出（千元）');  
  
% 用matlab内置函数拟合  
p = polyfit(x, y, 1);   % 计算回归系数  
p_y = polyval(p, x);     % 根据回归系数计算拟合的y  
plot(x, p_y, 'r');  
legend('matlab内置拟合','回归结果','NorthEast');  
hold off  
  
%% 自己拟合一下  
% hypothesis function: H = th1 + th2 * x;  
% cost function: J = 1/（2*num）  * sum((H - y).^2);  
% 画一下代价函数的图  
size = 50;  
th0 = linspace(-1000, 1000, size);      % 在-1000和1000之间生成50个数  
th1 = linspace(-1000, 1000, size);  
J = zeros(length(th0), length(th1));    % 生成J代价矩阵  
X = [ones(num, 1), x(:,1)];             % 方便计算，th0对应的X为1（y = th0*1 + th1*x1）  
for i = 1 : length(th0)  
    for j = 1 : length(th1)  
        theta = [th0(i); th1(j)];   
        J(i,j) = 1/(2 * num) * sum((X * theta - y).^2);    % 代价函数   
    end  
end  
figure  
surf(th0, th1, J);  
title('曲面图')  
figure  
contour(th0,th1, J, 70);  
title('等高线图');  
  
%% 梯度下降寻找最优点  
iter_cnt = 2500;        % 迭代次数  
alpha = 0.01;           % 寻找的速度  
theta = zeros(2,1);     % 初始化阈值  
iter_J = [];            % 迭代中的代价  
for iter = 1:iter_cnt  
    % 更新阈值  
    theta = theta - alpha * ( 1 / num * sum( ((X * theta - y)' * X), 1) )';  
    % 求代价函数  
    iter_J(iter) = 1/(2 * num) * sum((X * theta - y).^2);  
end  
  
%% 显示  
figure  
hold on  
plot(x,y,'b.');  
plot(x, X*theta, 'r')  
legend('散点图','回归结果','NorthEast');  
title('回归结果');  
hold off  
  
figure  
hold on  
contour(th0,th1, J, 70);  
plot(theta(1), theta(2), 'r*','MarkerSize', 5, 'LineWidth', 5);  
legend('等高图','寻找到的最优');  
title('等高图-最优点');  

hold off  

心得：线性回归只适应于小部分数据分布大致线性，对应多数数据而已，运用非线性回归得到的函数更科学；

运用MATLAB内置回归函数方便解决线性回归问题，自己拟合并运用梯度算法计算最优解，帮助理解相关知识。