山东大学机器学习（实验三解读）——正则化

原创

于 2019-01-27 21:59:06 发布 · 1.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #正则化 #线性回归 #逻辑回归 #山东大学机器学习实验

本文详细解读了山东大学机器学习实验中关于正则化的部分，包括正则化线性回归和正则化逻辑回归。在正则化线性回归中，通过观察不同λ值下曲线的变化，得出λ值对模型拟合效果的影响，说明了正则化在防止过拟合中的作用。而在正则化逻辑回归部分，由于缺少map_feature.m文件，作者自行编写并提醒读者根据实际情况调整代码。

1. 正则化线性回归

x = load('ex3Linx.dat');
y = load('ex3Liny.dat');
plot(x,y,'ro','MarkerFaceColor','r');
hold on;
m = length(y);
x = [ones(m,1),x ,x.^2 ,x.^3 ,x.^4 ,x.^5 ];
L = eye(size(x,2),size(x,2));
L(1,1)=0;
lambda = [0;1;10];
x_val = linspace(-1,1,100)';
n = length(x_val);
xx = [ones(n,1),x_val ,x_val.^2 ,x_val.^3 ,x_val.^4 ,x_val.^5 ];
for i = 1:length(lambda)
    theta = (x'*x+lambda(i,1)*L)^-1*x'*y;
    plot(x_val,xx*theta,'-');
    hold on;
end
legend('Training data','\lambda=0','\lambda=1','\lambda=10');