机器学习基础——回归（1）

已于 2024-09-11 16:17:04 修改
阅读量487 收藏 10
点赞数 6
分类专栏： 机器学习基础 文章标签： 机器学习 回归 人工智能
于 2024-09-11 16:16:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_74042627/article/details/142140545
版权

回归

回归的概念

回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。

 

 回归的基本流程

 面对一个回归问题，我们可简要描述其求解流程：

① 选定训练模型，即我们为程序选定一个求解框架，如线性回归模型(Linear Regression)等。

② 导入训练集，即给模型提供大量可供学习参考的正确数据。

③ 选择合适的学习算法，通过训练集中大量输入输出结果让程序不断优化输入数据与输出数据间的关联性，从而提升模型的预测准确度。

④ 在训练结束后即可让模型预测结果，我们为程序提供一组新的输入数据，模型根据训练集的学习成果来预测这组输入对应的输出值。 

线性回归

基础概念

线性回归就是通过通过训练学习得到一个线性模型来最大限度地根据输入x拟合输出y。线性回归学习的关键在于确定参数w和b，使得拟合输出y和真实输出y'尽可能接近。

 

最小二乘法（LSM）

基于均方误差最小化求解线性回归参数的常用方法之一。

梯度下降法

 

需要注意的是：梯度下降法找到的只是在当前的点的切平面上下降最快的方向。

二者比较，梯度下降法需要选择学习率α，需要多次迭代，当特征数n大时也能较好适用，适用各种类型的模型；最小二乘法需要一次计算。如果特征数量n较大则运算代价大，同时他只适用于线性模型。

数据归一化/标准化

提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

 正则化

L1正则化的原则是样本特性是由少数重要特征决定的，因此将不重要的特征系数归零，只考虑重要特征的系数，所以L1正则化会产生稀疏矩阵。这也是L1正则解决过拟合的原因。

L2正则化的原则，降低系数的值，提高模型的泛化性。如果模型在训练集上拟合的很好，且模型参数的值都很小，这样模型就能在各种数据集上具备很好的泛化性。 

回归的评价指标

 逻辑回归

Sigmoid函数

机器学习中如何评价模型的好坏
weixin_45516016的博客
11-17 4476
机器学习中如何评价模型的好坏 Week 2 主要学习机器学习中的基础知识 Targets for this week： 数据拆分：训练数据集&测试数据集 评价分类结果：精准度、混淆矩阵、精准率、召回率、F1 Score、ROC曲线等 评价回归结果：MSE、RMSE、MAE、R Squared Let’ s go ! 数据拆分 在机器学习中，通常将所有的数据划分为三份：训练数据集、验证数...
机器学习——回归
weixin_43906500的博客
05-18 6439
参考链接如下： https://blog.youkuaiyun.com/qq_36142114/article/details/80441363 https://blog.youkuaiyun.com/weixin_44697198/article/details/109405212 https://blog.youkuaiyun.com/qq_41800366/article/details/86583789 1.机器学习概述 机器学习算法有很多，有分类、回归、聚类、推荐、图像识别领域等等，具体算法比如线性回归、逻辑回归、朴素贝叶
训练线性回归模型 --- “闭式”解方法、梯度下降（GD）
我的博客
05-09 3501
训练线性回归模型 --- “闭式”方程、梯度下降（GD）
【机器学习-回归算法】
最新发布
m0_59385870的博客
03-18 1452
分类就是鉴别一个事务的类别,但是在此之前需要学习大量带标签的数据,告诉机器这个邮件是垃圾信息,这样的标签往往由人工标注,也可取巧的由用户数据里收集,比如验证码中的橘子,亦或是读取用户的黑名单,举报的邮件等等,当学习到一定的准确度时,就可以脱离标签对一个无标签的事物进行分类.只有两个类别的问题称为二分类，有三个及以上的问题称为多分类，比如数字的识别就属于多分类问题。首先我们将训练数据中的广告费x1,x2,…代入fθ(x)，把得到的点击量fθ(x)与训练数据中的点击量y相比较，然后找出使二者的差最小的θ。
【ML笔记】4、训练模型（线性回归、逻辑回归、多类别逻辑回归）
ingy
12-09 1167
在许多情况下，我们需要了解机器学习算法的内部实现，理解机器学习算法的基本逻辑将帮助我们找到恰当的机器学习模型，合适的训练算法，以及一个好的假设集。
机器学习回归训练公式！（模型调参通用）
m0_53373869的博客
05-07 1050
本篇主要针对的是回归问题，如果想得到一个最佳的任务效果，无疑有两个方法，第一个方法在于创新性尝试不同的模型，第二个就是去调节一个模型的参数，本篇介绍的模型就是将两种方法进行整合，使得您在训练模型时能够更方便的处理代码。Training_model_formula: 回归任务训练模型的公式，内附多个模型的代码， (gitee.com)主要由3个函数构成，下面着重介绍一下函数的用途。本篇介绍的公式化训练模型就到此结束了，如果有疑问，可以与作者联系，本篇代码均在代码仓库中。
机器学习——单变量线性回归详解
12-22
单变量线性回归是机器学习领域中最基础的预测模型之一，它用于建立因变量（目标变量）与一个自变量（特征变量）之间的线性关系。本文将深入探讨单变量线性回归的实现过程，包括数据预处理、模型构建、参数优化以及...
机器学习——线性回归
04-26
完成一个线性回归的算法，其中train.npz是数据 读取数据的方式为： import numpy as np data = np.load("train.npz") x_array,y_array = data['x'],data['y'] 其中x_array是对2000组特征，每个特征为五维,y_array是...
机器学习——逻辑回归数据集
03-22
train.csv中存储了原始数据，每人拥有年龄，工作类型等14个维度，共32561个样本。最后一个维度为label，即收入是否大于50k。
机器学习——线性回归介绍及案例实战的数据集（客户价值数据表）
04-06
本资源适用于多元线性回归的Python代码实现，是小编的机器学习——线性回归介绍及案例实战的数据集
一文彻底搞懂机器学习 - 回归（Regression）
Everly_的博客
12-05 5919
***matplotlib高次项（如平方项、立方项等）非线性关系****。**********如何实现多项式numpymatplotlib**三、******正则化线性回归（）************正则化线性回归类型****有哪些？************如何实现****并进行可视化？matplotlib。
机器学习——线性回归（sklearn）
CXDNW的博客
08-13 5082
回归是一种 应用广泛的 预测建模技术，这种 技术的核心 在于预测的结果 是连续型变量。理解线性回归可以有 两种角度：矩阵的角度和代数的角度。多重共线性 是一种 统计现象，是指线性模型中的 特征（解释变量）之间 由于存在 精确相关关系 或 高度相关关系，多重共线性的 存在会使模型 无法建立，或者 估计失真。
机器学习算法之回归算法
总结复盘，才能不迷失自己！
10-27 3293
一、回归算法思维导图二、算法原理和实例代码1、线性回归1.1、概念‌‌线性回归算法是一种统计分析方法，用于确定两种或两种以上变量之间的定量关系。‌ 线性回归算法通过建立线性方程来预测因变量（y）和一个或多个自变量（x）之间的关系。其基本形式为 y = wx + e，其中 w 是权重，x 是自变量，e 是误差项。1.2、算法原理线性回归算法的核心在于找到最佳的拟合直线，使得预测值与实际值之间的误差最小。这通常通过最小二乘法来实现，即最小化预测值与实际值之差的平方和。
机器学习~回归
whaosoft143ai的博客
06-06 2382
回归分析是一种预测建模技术，它研究的是因变量（目标）和自变量（预测因子）之间的关系。通常将这种技术用于预测分析、时间序列建模以及发现变量间的因果关系。例如，我们要研究司机的鲁莽驾驶和其交通事故数量之间的关系，最好的方法就是回归分析。回归分析是建模和分析数据的重要工具。其核心思想是，通过将曲线或直线拟合到数据点，以使各数据点到曲线或直线的距离差最小化。太抽象？没关系，我们将在下文中详细解释这一点。whaosoft aiot http://143ai.com 如何选择正确的回归模型？ 此前，你可能会有这样的结论
机器学习-回归
qq_45786520的博客
06-28 1882
回归（regression）是一种统计学的数据拟合方法，逐步的逼近最佳拟合曲线，这个过程中数据看起来似乎渐渐的“回到”这条曲线上。回归分析不仅用于产生拟合曲线，还可以分析数据有“多符合”这条拟合曲线，也即是拟合的置信度。 所以可以简单的认为拟合是目的，回归是实现数据拟合的一种分析方法，除了回归分析以外，还有曲线平滑等其他拟合方法。 线性回归 假设函数： y=ax+by=ax+by=ax+b(一元线性回归) y=c1x1+c2x2+⋯+cnxn+by=c_1x_1+c_2x_2+\cdots+c_nx_n +
线性回归模型
m0_53881899的博客
07-04 428
线性回归模型
机器学习笔记——回归（Regression）
dzc_go的博客
09-20 1729
机器学习笔记——回归（Regression）一、何为回归二、案例背景三、研究过程1.选择模型2.衡量函数的好坏3.选择最优的函数4.梯度下降（Gradient Descent）4.1单变量梯度下降4.2双变量梯度下降4.3偏微分的求解方法5.拟合分析四、研究结论 一、何为回归 回归是一种预测性的建模技术，研究的是自变量与因变量之间的关系，通常使用曲线来拟合数据点，想要使得拟合曲线到各个数据点之间的误差总和最小。当达到一定预测精度后，就可以用该拟合曲线来代表该自变量与因变量之间的关系，并且可以用他来处理更多
机器学习——回归分析
01-17
### 关于机器学习中的回归分析 #### 回归分析的概念 回归分析是一种统计学上研究变量之间相互关系的方法，旨在通过构建数学模型来描述因变量（目标变量）与自变量（特征变量）之间的依赖关系。在机器学习领域内，线性回归是最基础也是最常用的回归方法之一[^1]。 对于给定的数据集 \((X, y)\)，其中 \(X\) 表示输入样本矩阵而 \(y\) 是对应的标签向量，线性回归试图找到一条直线使得这条直线上下波动最小化从而最好地拟合这些点的位置分布情况；当存在多个维度时，则寻找超平面来进行最佳匹配。 #### 实现方法和技术栈 为了实现上述提到的各种类型的回归算法，在Python编程环境中可以借助多种库完成： - **Pandas**: 提供高效灵活的数据结构以及数据分析工具，方便读取、清洗并预处理原始数据文件； - **Scikit-Learn (sklearn)**: 这是一个非常流行的开源软件包，它实现了众多经典的监督式和非监督式的机器学习算法，并提供了简单易用的应用接口以便快速搭建实验环境或生产系统； 下面给出一段简单的代码片段展示如何利用scikit-learn进行线性回归建模过程： ```python from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression import pandas as pd # 加载数据集 data = pd.read_csv('your_dataset.csv') X = data.drop(columns=['target']) y = data['target'] # 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y) # 创建模型实例 model = LinearRegression() # 训练模型 model.fit(X_train, y_train) # 输出模型参数 print(f'Coefficients: {model.coef_}') print(f'Intercept: {model.intercept_}') # 预测新数据的结果 predictions = model.predict(X_test) ``` 此外还有其他一些重要的组件如`matplotlib` 和 `seaborn` 可用于绘制图表辅助理解数据特性及验证模型效果等操作[^2]。 #### 应用场景举例 回归分析广泛应用于各个行业当中解决实际问题，以下是几个典型例子： - **房价预测**：基于房屋面积大小、地理位置等因素估计房产价值； - **销售额度估算**：根据历史销售记录推测未来某段时间内的收入水平； - **医疗健康监测**：依据患者生理指标变化趋势判断疾病发展趋势或者治疗方案的有效程度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值