Programming Exercise5:Regularized Linera Regression and Bias v.s Variance

Mac Jiang

于 2016-03-01 21:27:23 发布

阅读量2.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Mac Jiang的机器学习专栏文章标签：斯坦福大学机器学习吴文达 Programming Exercise Regularized Linera R

本文链接：https://blog.youkuaiyun.com/a1015553840/article/details/50775797

本文探讨了斯坦福大学吴文达教授机器学习课程中关于正则化线性回归和偏差-方差的概念。通过编程练习，解释了如何改造linearRegCostFunction.m来计算不同lambda参数下的成本函数J和梯度grad，涉及模型选择、样本分类和学习曲线绘制等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大家好，本文主要和大家分享coursera网站上斯坦福大学机器学习公开课（吴文达老师）第六周Reguirized Linera Regression and Bias v.s Variance的课后编程题。这周的课程主要介绍了一些模型选择，样本分类，bias and variance，regularization参数选择，learing curves学习曲线绘制等知识。以下为本人编写的代码和一些个人的见解，如有错误，请留言批评指正，谢谢。

1.首先，我们需要对linearRegCostFunction.m这个文件进行改造。这个文件是利用线性拟合为模型，计算样本X,y在指定theta和lambda的参下的代价J和偏导grad。

function [J, grad] = linearRegCostFunction(X, y, theta, lambda)

% You need to return the following variables correctly 
J = 0;
grad = zeros(size(theta));

J = sum((X * theta - y).^2)/(2*m) + lambda / (2 * m) * (sum(theta .^2 ) - theta(1)^2); %计算正则化线性回归的代价
 
grad = ((X * theta - y)' * X)'/m + lambda / m * theta;                                 %计算正则化线性回归的梯度
grad(1) = grad(1) - lambda / m * theta(1);                                             %不惩罚theta0,重新加回去，theta0在matlab数组中的下标为1

grad