Stanford 机器学习 Week6 作业:Regularized Linear Regression and Bias v.s. Variance

最新推荐文章于 2022-07-31 11:49:59 发布

Baoli1008

最新推荐文章于 2022-07-31 11:49:59 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习 Octave 文章标签：机器学习 octave

本文链接：https://blog.youkuaiyun.com/Baoli1008/article/details/50801691

机器学习同时被 2 个专栏收录

23 篇文章

订阅专栏

Octave

6 篇文章

订阅专栏

本文介绍了一个线性回归的成本函数实现方法及其梯度计算过程，并通过调整正则化参数λ来观察训练误差和验证误差的变化，以此评估模型的表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

linearRegCostfunction

m = length(y); 
J = 0;
grad = zeros(size(theta));

J = 1.0 / 2 / m * ( sum( (X * theta - y) .^ 2) + lambda * sum(theta(2:end) .^2) );

grad = 1 / m * ((X * theta - y)' * X)';
grad(2:end) = grad(2:end) + theta(2:end) * lambda / m ;

m = size(X, 1);
for i  = 1:m
    theta = trainLinearReg(X(1:i,:),y(1:i),lambda);
    error_train(i) = linearRegCostFunction(X(1:i,:),y(1:i),theta,0);
    error_val(i) = linearRegCostFunction(Xval,yval,theta,0);
end

validationCurve

lambda_vec = [0 0.001 0.003 0.01 0.03 0.1 0.3 1 3 10]';

error_train = zeros(length(lambda_vec), 1);
error_val = zeros(length(lambda_vec), 1);

m = length(lambda_vec);
for i = 1:m
    theta = trainLinearReg(X, y, lambda_vec(i));
    error_train(i) = linearRegCostFunction(X, y, theta, 0);
    error_val(i) = linearRegCostFunction(Xval, yval, theta, 0);
end