1.1.1. Ordinary Least Squares 普通最小二乘法

最新推荐文章于 2022-03-23 16:53:45 发布
最新推荐文章于 2022-03-23 16:53:45 发布
阅读量2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器算法 文章标签： 机器学习模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fenxishichengzhang/article/details/53965990
这篇博客详细介绍了回归模型中的普通最小二乘法，讨论了经验风险和期望风险函数的概念。重点讲述了结构风险最小化策略，特别是针对样本数量有限时防止过拟合的岭回归及其正则化效果，提到了sklearn库中的Ridge和RidgeCV模型应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（一）回归模型

这里写图片描述

1.常见损失函数

这里写图片描述

2.期望风险函数：这是真实的风险，由于不知道联合分布P(X,Y)，因此无法计算

这里写图片描述

3.经验风险函数

注：1.训练数据样本的平均损失

2.训练数据样本越多（N），越逼近期望风险函数

这里写图片描述

（二）最小经验风险函数：训练样本数目固定，求w使得经验风险最小

这里写图片描述

例子：当样本数目很大时，经验风险可以很好的逼近期望风险。

sklearn.linear_model.linearRegression

1.使用的经验风险函数（经验损失函数）

这里写图片描述

2.使用的损失函数（平方损失）

这里写图片描述
这里写图片描述

（三）结构风险最小化：训练样本数目固定，经验风险最小化求到w，此时问题：当样本数目很大时，经验风险可以很好的逼近期望风险。当样本数目有限偏少，会产生过拟合（模型复杂度，权重个数多）,为此需要对权重做处理，惩罚项，正则化权重。

这里写图片描述

例子：岭回归，Ridge(阿尔法或lamda固定求出w)、RidgeCV（多个阿尔法或lamda中求出多个w然后选择最好的一个w），正则项为||w||的L2范数，lamda（阿尔法a）越大,||w||的L2范数越小，反之，也是一样。

sklearn.linear_model.Ridge

sklearn.linear_model.RidgeCV

1.使用的结构风险函数（经验损失函数+正则项）

这里写图片描述

2.使用的损失函数（平方损失），正则化项函数（L2范数）

这里写图片描述
这里写图片描述
此时不是风险最小化

注：1.Ridge（alpha数）选择最好的w,RidgeCV（alphas数组）选择最好的阿尔法和w

2.Ridge在不同阿尔法下的w大小

这里写图片描述

因果推理在智能金融信用评分与授信决策中的技术架构与应用
AI天才研究院
12-09 1218
引言 在当今数字化时代，智能金融已经成为金融行业的重要发展方向。智能金融通过引入人工智能、大数据等技术，实现了对金融产品的个性化推荐、风险控制、信用评估等功能的自动化和智能化。然而，随着金融行业数据量的不断增长和数据维度的逐渐复杂，传统的相关性分析方法已无法满足现代金融决策的需求。在这种情况下，因果推理作为一种能够揭示变量之间因果关系的分析方法，逐渐引起了金
什么是最小二乘法？
最新发布
学习与分享人工智能技术
09-21 3106
本文详细介绍了最小二乘法的概念及推导公式。
最小二乘法（Ordinary Least Squares）
华中科技大学施文
06-26 7019
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。[1](百度百科) 来源：https://baike.baidu.com/item/%E6%9C%80...
Scikit-Learn学习笔记——Ordinary Least Squares
bigfacesafdasgfewgf
10-23 5116
Scikit-Learn学习笔记——线性模型
普通最小二乘法（ Ordinary Least Square，OLS）
qq_15993621的博客
01-01 1万+
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对...
scikit-learn学习：Ordinary Least Squares
u014662865的博客
02-15 641
最近系统学习scikit-learn，记录一下以便于以后查找运用方便，如果有错误也欢迎大家指正。 实验结果如图所示： 代码： # -*- coding: utf-8 -*- ''' Created on 2017-2-15 @author: admin ''' import matplotlib.pyplot as plt import numpy as np from skle
Python手写普通最小二乘法
我的博客
08-02 1万+
简单介绍 sklearn中的LinearRegression类拟合了一个带有系数w=(w1,w2,...,wp)w=(w1,w2,...,wp)w=(w_1,w_2,...,w_p)的线形模型，使得数据集实际观测数据和预测数据之间的残差平方和最小： minw||Xw−y||22minw||Xw−y||22min_w||Xw-y||^2_2 其中向量w=(w1,w2,...,wp)w=(w1,...
线性回归模型-最小二乘法Ordinary Least Squares
weixin_41883431的博客
12-02 8664
1.1 线性回归模型 下面是一系列的回归方法, 目标值是输入变量的线性组合, 定义y^\hat {y}y^​表示要预测的值. y^(w,x)=w0+w1x1+...+wpxp\hat {y}(w, x) = w_{0} + w_{1}x_{1} + ... + w_{p}x_{p}y^​(w,x)=w0​+w1​x1​+...+wp​xp​ 在这类模型中, 我们设向量w=(w1,...,wp)w ...
scikit-learn 0.19：线性模型与岭回归解析
1.1.1. 普通最小二乘法（Ordinary Least Squares, OLS） 普通最小二乘法是一种广泛使用的线性回归方法，它通过最小化观测值与预测值之间的残差平方和来拟合模型。在scikit-learn中，`LinearRegression`类实现了这个...
python机器学习Day‘7
qq_35283033的博客
07-04 545
Lets do it！ 1.1. Generalized Linear Models ¶ 1.1.广义线性模型 The following are a set of methods intended for regression in which the target value is expected to be a linear combination of the in
Scikit-learn中文指南：从线性回归到支持向量机
在描述中提到的1.1章节，特别是1.1.1小节，讲解了普通最小二乘法（Ordinary Least Squares, OLS）。这是线性回归的基础，它的目标是最小化预测值与实际观测值之间的平方误差和。Scikit-learn 的 `LinearRegression` ...
通用最小二乘回归Matlab代码General+Least+Squares+Regression
05-02
通用最小二乘回归Matlab代码General+Least+Squares+Regression
最小二乘法，笔记
kebu12345678的博客
05-19 9317
前言        普通最小二乘法（ordinary least squares, OLS）是线性回归预测问题中一个很重要的概念，在 Introductory Econometrics A Modern Approach (Fourth Edition) 第2章 简单回归模型 中，花了很详细的篇幅对此作出介绍。应聘数据挖掘岗位，就有考到对普通最小二乘法的推导证明。最小二乘法十分有用，例如可以用来做...
Ordinary Least Squares 最小二乘约束
Ian_Hwang的专栏
03-09 832
# coding:utf-8 import sklearn.datasets import sklearn.linear_model import numpy.random import numpy.linalg import matplotlib.pyplot if __name__ == "__main__": # Load boston dataset boston =
scikit-learn学习笔记（三）Generalized Linear Models ( 广义线性模型 )
春华秋实
07-28 1548
Generalized Linear Models ( 广义线性模型 ) 以下是一组用于回归的方法，其中目标值预期是输入变量的线性组合。在数学概念中，如果  是预测值。 在整个模块中，我们指定向量  as coef_ 和  as  intercept_ 。 要使用广义线性回归执行分类，请参阅 Logistic 回归。 Ordinary Least Squares
1.1.1. Ordinary Least Squares（普通最小二乘）
matrix_studio的博客
10-29 1706
1.1.1. Ordinary Least Squares 注： 1.本文所指线性回归，若非特别强调，均指最基础的线性回归模型 2.为了降低理解难度，本文涉及的到的数学推导并不严格严谨（严谨的我也不会，我又不是数学系的） 简介 线性回归数学推导 线性回归函数介绍 线性回归实战案例 ...
ArcGIS Pro中的回归分析浅析（上）回归的概念&探索性回归工具使用
GIS骆驼的GIS博客
03-23 7829
2022年，M姐的小伙伴想研究一下空间分析应用，一不小心，小伙伴有点“走火入魔”，在回归分析这条路上，走出了花火，于是，写了一篇学习总结。阅后十分激动，决定分享出来，本内容将分为四个部分依次介绍，分别是： 1）回归概念介绍； 2）探索性回归工具（解释变量的选择）使用； 3）广义线性回归工具(GLR)使用； 4）地理加权回归工具(GWR)使用+小结。 今天我们先分享前两节的内容。回归的概念介绍&探索性回归工具的使用。另外，小伙伴的空间分析应用学习还在进行中，期待她更多的分享~ PART/
【机器学习】1. 线性模型 - 普通最小二乘法
ZhShy
01-24 2097
文章目录1. 用于回归的线性模型2. 线性回归（普通最小二乘法） 线性模型利用输入特征的线性函数（linear function）进行预测 1. 用于回归的线性模型 对于回归问题，线性模型预测的一般公式如下： y^=w[0]∗x[0]+w[1]∗x[1]+⋯+w[p]∗x[p]+b\hat{y} = w[0] * x[0] + w[1] * x[1] + \cdots + w[p] * x[p] + by^​=w[0]∗x[0]+w[1]∗x[1]+⋯+w[p]∗x[p]+b 这里x[0]x[0]x[0]
计量经济学笔记之OLS回归的推导
热门推荐
云金杞
02-18 2万+
入坑计量经济学（重新学习一遍，大学学的计量太简单了，只是操作软件，对于计量模型理解很浅，这一次关注核心的原理、公式的推导，python在计量经济学中的应用） ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值