代价函数的矩阵表示【CF】

最新推荐文章于 2025-10-16 13:34:19 发布

原创最新推荐文章于 2025-10-16 13:34:19 发布 · 2.9k 阅读

0 ·

CC 4.0 BY-SA版权

coursera notes 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了机器学习中线性回归与逻辑回归的成本函数及梯度计算方法，包括正则化的应用，适用于理解监督学习算法的核心数学原理。

不知道为什么，不能高亮matlab，就下面这样了

用的是matlab语法

m为样例数目，X输入，y输出，theta为参数，

线性回归，linear regression

J=((X*theta-y)'*(X*theta-y))/2/m;
gradient=X'*(X*theta-y)/m;

LR，逻辑回归

# h为h（x）列向量
J=(((log(h))'*(-y))-(log(1-h))'*(1-y))/m;
gradient=((h-y)'*X)'/m;

正则化，regularization，逻辑回归

# lambda 惩罚系数
J=((log(h))'*(-y))/m-(log(1-h))'*(1-y)/m+theta(2:size(theta)(1),:)'*theta(2:size(theta)(1),:)*lambda/2/m;
gradient=((h-y)'*X)'/m+[0;theta(2:size(theta)(1),:)]*lambda/m;

4.线性回归，正则化

J=((X*theta-y)'*(X*theta-y))/2/m+theta(2:size(theta)(1),:)'*theta(2:size(theta)(1),:)*lambda/2/m;

grad=X'*(X*theta-y)/m+[0;theta(2:size(theta)(1),:)]*lambda/m;