线性模型（二）－－对线性回归的几点思考

最新推荐文章于 2021-08-19 14:59:55 发布
原创 最新推荐文章于 2021-08-19 14:59:55 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #线性回归 #损失函数

本文探讨线性回归模型与广义线性模型的关系，揭示线性回归基于高斯分布的特性。通过推导，解释为何选择平方误差函数作为损失函数，该结论源于对高斯分布的考虑。通过最大似然估计，展示损失函数的合理性与推导过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一节我们推导了线性回归求解参数的过程，然而仅仅掌握理论推导是远远不够的，还需要理解模型的意义。本节主要讨论线性回归与广义线性模型的关系以及线性回归损失函数的意义。

我们假设，则有



      

                               

最低0.47元/天 解锁文章

200万优质内容无限畅学
小白零基础学数学建模系列-Day3-线性回归模型的构建与评估
全栈川川
08-11 2291
线性回归模型的构建与评估
线性回归模型详解
最新发布
码上飞扬的博客
06-06 5990
线性回归模型的目标是寻找最佳的线性组合来预测目标变量。具体来说，对于简单线性回归，模型试图找到一条最佳拟合直线，而对于多元线性回归，则是在多维空间中找到一个最佳拟合的超平面。多元线性回归模型可以表示为：其中，𝑌Y 是因变量，𝑋1,𝑋2,...,𝑋𝑛X1​,X2​,...,Xn​ 是自变量，𝛽0β0​ 是截距，𝛽1,𝛽2,...,𝛽𝑛β1​,β2​,...,βn​ 是每个自变量对应的斜率，表示其对𝑌Y的影响程度，而𝜖ϵ 是误差项，反映了模型未能解释的随机波动。
由线性回归代码思考流程
f351873170的博客
01-13 157
一、数据加载 一般这个流程中，我们会对数据进行裁剪，数据增强，图像的亮度等等一些操作来增加数据的多样性。将图像数据转化为矩阵，等待传入模型中 二、计算梯度获取w,b 根据线性公式来设计梯度公式，将初始化的w,b，数据，学习率等传入梯度公式中计算新的w,b 三、梯度更新 循环计算梯度进行更新w,b 四、计算损失 根据计算出的w,b带入到线性公式中得到的y值,与实际的y值通过均方差公式计...
机器学习方法篇(2)------线性模型
对半独白
06-11 993
线性模型应该是最直观最容易理解的一种机器学习模型了，同时也是使用最广泛的一种模型，比如各种模型中常出现的softmax层、全连接层等等，都属于线性模型。那么线性模型到底是一个什么模型，其训练方式又是如何？
机器学习之——线性模型
qq_38384924的博客
05-23 975
一、一些理解 线性模型的表达式中，权重向量直观表达了各个特征在预测中的重要性。 线性的意思就是一系类一次特征的线性组合，二维空间为直线，三维空间为平面，推广到n维空间，这就是广义的线性模型。 线性模型易于建模，常见的广义线性模型有：岭回归，lasso回归，逻辑回归，线性判别分析，Elastic Net等。 1、逻辑回归 ...
如何正确衡量线性回归模型中变量的重要性
DataOranges的博客
12-07 1万+
如何正确衡量线性回归模型中变量的重要性背景多重共线性什么是多重共线性为什么多重共线性会导致参数估计失败如何判别多重共线性解决方案 背景 在机器学习任务中，线性回归是常用的一类模型。它其实是一个广义的概念，通常是指用一组自变量来预测因变量，公式如下所示： Y=β0+β1X1+⋯+βnXn+ϵY = \beta_0 + \beta_1X_1+\cdots+\beta_nX_n+ \epsilo...
集成学习task02-机器学习基础（1）
xpl_1620的博客
08-19 179
一、机器学习的三大主要任务 回归：待预测变量为连续型变量； 分类：待预测变量为离散型变量； 聚类：没有待预测变量，主要是分析数据本身的结构及分布。 二、使用sklearn构建完整的机器学习项目流程 一个完整的机器学习项目流程： 明确项目任务：回归/分类 收集数据集并选择合适的特征 选择度量模型性能的指标 选择具体的模型并进行训练以优化模型 评估模型的性能并调参 2.1 模型性能度量指标 MSE均方误差：MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−yi^)2MSE(y,\h
数据分析实战 - 线性回归-女性身高与体重数据分析
11-09
简单线性回归是回归分析的一种基本形式，它建立了一个线性模型，用一个自变量（在这里是身高）来预测一个因变量（体重）。在这个例子中，我们使用statsmodels库的OLS（Ordinary Least Squares）函数来构建模型。OLS...
机器学习-线性回归整理PPT
12-04
在【标题】"机器学习-线性回归整理PPT"中，提到了几种线性回归的变种和方法： 1. **最小二乘法**是最常见的求解线性回归的方法，它的目标是最小化所有样本点到回归线的欧氏距离之和，即均方误差。通过求导并设置偏导...
决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略
我很帅的专栏
06-27 1万+
决策树缺点和注意事项： 决策树的最大缺点是原理中的贪心算法。因此它所做的选择只能是某种意义上的局部最优选择。 若目标变量是连续变量，那么决策树就不使用了，改用回归模型 若某些自变量的类别种类较多，或者自变量是区间型时，决策树过拟合的危险会增大。这种情况需要分箱或多次模型验证，确保其具有稳定性。 对区间型变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因为分箱丧失了某些重要信息，尤其是当分箱前的区
线性回归原理和实现基本认识
热门推荐
追赶者的博客
04-28 7万+
一：介绍        线性回归在假设特证满足线性关系，根据给定的训练数据训练一个模型，并用此模型进行预测。先举个简单的例子；我们假设一个线性方程 Y=2x+1, x变量为商品的大小，y代表为销售量；当月份x =5时，我们就能根据线性模型预测出 y =11销量；对于上面的简单的例子来说，我们可以粗略把 y =2x+1看到回归的模型；对于给予的每个商品大小都能预测出销量；当然这个模型怎么获取到就是
对线性回归，logistic回归和一般回归的认识（总结的不错）
ffeng271的专栏
12-20 2885
对线性回归，logistic回归和一般回归的认识      【转载时请注明来源】：http://www.cnblogs.com/jerrylead      JerryLead      2011年2月27日      作为一个机器学习初学者，认识有限，表述也多有错误，望大家多多批评指正。 1 摘要       本报告是在学习斯坦福大学机器学习课程前四节加上
一般线性模型和线性回归模型_您的线性回归模型指南
weixin_26638743的博客
09-15 7166
一般线性模型和线性回归模型Interpretability is one of the biggest challenges in machine learning. A model has more interpretability than another one if its decisions are easier for a human to comprehend. Some model...
关于线性回归算法的总结与思考
chairon的博客
07-15 841
1. 线性回归VS KNN 线性回归算法 KNN 典型参数学习 非参数学习 只能解决回归问题，但是在很多分类算法中，线性回归是基础（逻辑回归） 既可以解决分类问题，又可以解决回归问题，但是解决回归问题，准确率没用线性回归算法高 对数据有假设：假设数据有线性关系 没有假设 对数据有强解释性 没有解释性 2. 线性回归算法公式 3. 更多关于线性回归模型的讨论 import numpy as np from sklearn import datasets boston=d
线性回归的一些思考（SVM）
u010844092的专栏
12-18 1223
1、对于线性回归模型的代价函数，为了能应用求导来求其最小值（代价函数可导），不能用错误的分类个数作为代价函数（不可导）又或者用S函数（非凸函数，不能应用梯度下降，转化为log凸函数），简单的做法就是转化为距离（统计学习方法书中提到的）或者机器学习课堂上讲到的几种形式，这些形式都可导。 2、线性模型中，对于简单的代价函数是可以直接求导得到（比如机器学习课堂上讲的简单线性回归模型），但是一般都采用梯
随机森林、GBDT和逻辑回归理解与对比
samoyan的博客,记录技术成长~
02-20 1万+
随机森林 随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 GBDT: GBDT(Gradient Boosting Decision Tree
【番外篇】关于多元线性回归以及主成成分分析的一点思考
huiwuhuiwu的专栏
05-09 3497
关于多元线性回归以及主成成分分析的一点思考
统计学（二）之一般线性模型（一）
qq_41989587的博客
09-08 1万+
一般线性模型 统计博大精深，学习永无止境（被搞死） GLM（General Linear Model） 一、一般线性模型的组成 方差分析（ANOVA） 成组设计的方差分析 配伍设计的方差分析 多因素方差分析 多元方差分析（MANOVA） 重复测量方差分析 协方差分析 多元线性回归分析 二、方差分析 对因变量的变异可以分解成两部分，一部...
线性回归模型的局限性和注意点
S_o_l_o_n的博客
03-03 1万+
回归分析是传统的研究变量关系很重要的一种方式，特别是在机器学习和深度学习兴起之前，回归分析基本就是探究变量关系之间的主要方式。线性回归又是回归分析中很重要的一种方式，由于其模型的简单性和有效性，线性回归分析在回归分析中始终扮演极其重要的角色。 线性回归分析在实际使用中，虽然简单有效，但是使用者往往很容易因为没有充分认识到线性回归模型的局限性和注意点而误用，导致得到很多...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值