线性回归和逻辑回归的损失函数

最新推荐文章于 2025-02-13 21:01:53 发布
最新推荐文章于 2025-02-13 21:01:53 发布
阅读量2.7k 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yMMxz/article/details/69248865
版权

（1）线性回归的误差函数为什么是平方损失函数


 参考：http://blog.youkuaiyun.com/saltriver/article/details/57544704

设线性回归的预测函数h(xi)，实际值为yi  相应的误差为

所以有：yi =h(xi) +    （i = 1,2,3,..., n）

通常认为误差服从参数为的正态分布，即：

         

我们想要求出参数

最低0.47元/天 解锁文章
对线性回归、逻辑回归、各种回归的概念学习
viewcode的专栏
04-17 28万+
回归问题的条件/前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形
线性回归的损失函数与逻辑回归的损失函数
热门推荐
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
【机器学习】线性回归 线性回归模型的损失函数 MSE RMSE MAE R方
最新发布
YoseZang的博客
02-13 1147
线性回归模型的单一特征向量的损失为y_real-y_predict，即特征标签真实值减去特征的预测值。总体损失为单一特征向量的损失进行投票的结果，根据投票方式的不同，得到不同的损失函数。
#详细解读# 线性回归、逻辑回归及其损失函数
lch551218的博客
07-05 2519
1. 线性回归 线性回归输入如果是连续的，输出必然也是连续的，形式是 损失函数一般使用 MSE、RMSE、MAE等，因为逻辑回归输出值是0~1本身给出的就是一个该概率值，而线性回归没有激活函数需要使用某种方式构造一种损失，那么最容易想到的便是最小二乘或RMSE，MAE等 2. 逻辑回归（LR） 逻辑回归在线性回归的基础上增加了激活函数（sigmoid）将输出限制在0到1，因此我们用交叉熵作为逻辑回归的损失函数，这里简述以下交叉熵和sigmoid激活函数： 2.1 交叉熵 1. 熵的定义： .
再谈线性回归与逻辑回归-损失函数
IBelieve2016的博客
03-07 1692
高级机器学习笔记 线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。 均方误差 对于线性函数来说，我们使用平方形式的时候，使用了“最小二乘”的思想，就是用平方来度量估计值与真实值的距离，使其达到最小。而且，如果假设误差服从正态分布，它与最大似然估计在本质上是相同的。 如下面两张图所示： 误差满足正太分布的话，那么我们可以让似然函数L(w)取最大的值，然后可以求出红...
线性回归和逻辑回归损失函数推导
kwame211的博客
07-31 721
线性回归和逻辑回归损失函数推导 @(数据挖掘)   线性回归和逻辑回归损失函数推导 一、线性回归最小二乘loss推导 二、logistics回归加sigmoid原因以及交叉熵损失函数推导   一、线性回归最小二乘loss推导 我们都知道线性回归是机器学习中最简单，使用范围也很广的一个算法，经典且使用。而它的损失函数最小二乘损失，大家也很熟悉，但是为什么要用最小二乘loss呢？...
线性回归和逻辑回归损失函数的区别
一路向北
03-21 3465
首先说什么是凸函数。对区间[a,b]上定义的函数f，若它对区间中任意两点x1和x2，均有f((x1+x2)/2)<=(f(x1)+f(x2))/2，则称f为区间[a,b]上的凸函数。对实数集上的函数，可通过求二阶导数来判别。若二阶导数在区间上非负，则称为凸函数，若二阶导数恒大于0，则称为严格凸函数。线性回归模型中的损失函数为平方差损失函数，其是凸函数逻辑回归中，损失函数为交叉熵损失函数，因为...
PyTorch线性回归和逻辑回归实战示例
09-20
在PyTorch中实现逻辑回归与线性回归类似，只是损失函数和激活函数不同。逻辑回归通常使用交叉熵损失（Cross Entropy Loss），激活函数是sigmoid。这里不再展示具体代码，但可以按照线性回归的框架进行修改。 **总结...
【机器学习】线性回归和逻辑回归有什么区别？这篇超详细的指南慢慢告诉你！
一位人工智能领域的小新，想要努力发光发热
11-29 2850
在机器学习中，线性回归和逻辑回归是两种常见的回归模型，虽然它们都包含“回归”这一术语，但应用场景和数学原理却有显著差异。线性回归主要用于回归问题，目标是通过自变量与因变量之间的线性关系预测连续数值，而逻辑回归则是用于二分类问题，输出类别概率。本文详细比较了线性回归和逻辑回归的核心区别，包括问题类型、输出形式、模型假设、损失函数、评估指标和决策边界等。通过对比分析，帮助读者深入理解这两种模型的适用场景与优缺点，从而能够在实际问题中做出正确的算法选择。
线性回归与逻辑回归的损失函数选择
飞翔的思绪的专栏
04-24 4227
线性回归损失函数为什么要用平方形式 ： 对于训练数据样本(xi,yi)，我们有如下的拟合直线： yˆi=θ0+θ1∙xi 我们构建了一个损失函数： C=∑i=1n(yi−yˆi)2 表示每个训练数据点(xi,yi)到拟合直线yˆi=θ0+θ1∙xi的竖直距离的平方和，通过最小化这个损失函数来求得拟合直线的最佳参数θ，实际上就是求损失函数C在取得最小值情况下θ的值
逻辑回归的损失函数和线性回归的损失函数
weixin_57128596的博客
05-18 1402
其实很简单理解，我们需要求解最优的参数比如w，那么损失函数需要最小，我们dL/dw求解损失函数对w权重的局部梯度，当梯度变化较大时，说明w变化剧烈，离最优值比较远，需要加大我们的学习率lr（自适应学习率，参考之前的梯度大小），梯度变化大说明损失函数在当前参数值w附近对参数的变化非常敏感。1、**局部最小值：**在非凸损失函数中，存在多个局部最小值，这是损失函数在一定区域内的最小值。，可以高效地计算损失函数对网络中所有参数的梯度，无需手动计算每个参数的偏导数，大大提高了梯度计算的效率。
【线性回归】for循环求简单线性回归的误差函数
m0_63964122的博客
03-10 1669
用for循环求均方误差
线性回归算法中损失函数（误差函数/目标函数）的来历及推导
weixin_71894495的博客
07-23 1012
本文以线形回归为例，利用高斯分布概率密度函数和极大似然估计公式推导出线性回归损失函数通用表达式。
机器学习笔记-损失函数与正规方程的代码表示
xiaodong的博客
05-29 543
损失函数的代码表示 import numpy as np def computeCost(X, y, theta): inner = np.power(((X*theta.T) - y), 2) return np.sum(inner) / (2*len(X)) 正规方程的代码表示 import numpy as np def normalEqn(X, y): theta...
线性回归与逻辑回归损失函数推导
weixin_43927279的博客
09-29 289
在线性回归的时候我们假设了误差ϵ\epsilonϵ，将其视为一个高斯分布，得到每个yi\pmb y^iyyi的概率，为什么到了逻辑回归就不用假设，而是hθhθθ​直接得到的就是概率呢？是通过推导得出来的还是只是因为此函数比较优异？见链接。
机器学习笔记：线性回归与逻辑回归
杂文集
11-21 792
1 线性回归 公式 f(x)=wTx+b f(x)=w^Tx+b f(x)=wTx+b 损失函数 均方误差： loss=∑i=1n(y−wTxi−b)2 loss=\sum_{i=1}^{n}(y-w^Tx_i-b)^2 loss=i=1∑n​(y−wTxi​−b)2 其中yyy为实际值。 均方误差有非常好的几何意义。它对应了常用的欧几里得距离或简称"欧氏距离" 。基于均方误差最小化来进行模型求解的方法称为最小二乘法（分别对www和bbb求偏导，令其等于0，再求解）。在线性回归中，最小二乘法就是试图找到一
一、线性模型----线性回归LinearRegression、逻辑回归LogisticRegression(理论篇)
袁叔叔的博客空间
12-12 505
基本理论 线性回归LinearRegression 基本形式： 其中：....
Machine Learning|吴恩达 （1）线性回归与逻辑回归【含公式推导】
weixin_40920228的博客
06-10 1409
《Machine Learning》@ coursera.org | Formula Summarizi 《Machine Learning》@ coursera.org | Formula Summarizi Multivariate Linear Regression Normal Equation Logistic Regression 快捷键 Markdown及扩展 表格 定...
C++编程实现逻辑回归和线性回归详解
C++实现回归算法的知识点涵盖了机器学习领域的核心算法，主要涉及线性回归（Linear Regression）和逻辑回归（Logistic Regression）。以下是对这两种回归算法在C++中实现的详细知识点解析。 ### 线性回归（Linear ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值