regression

最新推荐文章于 2025-03-20 11:59:20 发布
最新推荐文章于 2025-03-20 11:59:20 发布
阅读量608 收藏 2
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38016957/article/details/94326409
版权

构建模型步骤：

  • Step1：选择模型
  • Step2：样本
  • Step3：迭代（梯度下降）
    技巧：
  • 多类的回归
  • overfitting
  • Regularization正则化
    （1）lambda的选择

Step1：选择模型

线性y=wx或者其他

Step2：样本

在这里插入图片描述

（1）样本带入模型：

在这里插入图片描述

（2）Loss Function：

真实值和预测值的误差：
在这里插入图片描述

（3）选择最好的参数：

在这里插入图片描述

Step3：迭代

梯度下降

一开始随机选择参数，此时预测值和误差值的很大的，将每一个位置的参数值画出以下曲线图：
在这里插入图片描述
梯度下降：对初始随机参数w0的模型y=b+w0*x求导即斜率值

  • 当斜率为负值时，增加w，可使误差向减小的方向前进
  • 当斜率为正值时，减小w，可使误差向减小的方向前进
更新参数：w1=初始化参数w0 - 求导的值乘以学习率

更新参数可以使模型不断优化
在这里插入图片描述
在这里插入图片描述
如果是多参数的，求偏导即可。

1、overfitting

第一个图为对训练集的拟合
第二个图为对测试集的拟合
在这里插入图片描述
不同阶数的模型所得到的误差：
模型的复杂度并不是越大越更好，会出现过拟合，从而导致在train集上的error很小，但在test集上的error很大。
在这里插入图片描述

2、多类的回归

当出现以下的数据集时如何拟合呢？

在这里插入图片描述
将数据分成不同种类，重新设计模型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
添加更多的特征：在这里插入图片描述

3、Regularization正则化

对Loss Function增加参数惩罚项，训练得到的参数w会是一个接近0且较平滑的数。
在这里插入图片描述
参数w越接近0，遇到新的样本时，得到新的结果y1即为原来样本的y+wi*∆x，w越小，则y1越小，所以噪声点对于模型的影响较小
在这里插入图片描述

（1）lambda的选择：

  • lambda越大，w参数的分布会越平滑，但lambda太大，会导致梯度下降时，忽视了w对模型对样本的拟合，过多的重视w的平滑（因为w惩罚项远大于对样本的拟合的误差）
  • lambda越小，w参数分布不均衡，容易过于重视异常点，对模型稳定性影响较大
    在这里插入图片描述
深度学习(1): Regression
JJJJJJames的博客
01-11 618
Regression and Classification binary (RNN) multi-class (CNN) generation 产生有结构的复杂的东西 supervised learning labeled data 函数的loss, 预测值与实际值之间的关系,越小越好 机器会自动找出loss最低的函数 reinforcement learning supervised: next move reinforcement (reward): first mo
Regression
Bugs_Bunny_的博客
05-09 294
Regression：找到一个function，通过输入特征x得到output。 step1：Model（确定一个模型） 一个model就是function set。例如：y=b+wx,由任意参数w和b得到不同的function。 这样的model是一种linear model（线性模型）：即可将一个function写成的形式。 （xi为不同属性feature，wi：weight，b：bias） step2：goodness of function 1、从数学角度，求实际值与模型预测值的差...
【漫话机器学习系列】150.回归（Regression）
最新发布
IT古董
03-20 699
在数据科学和机器学习领域，回归（Regression）是一种重要的统计分析方法。它用于研究变量之间的关系，并预测连续变量的值。例如，在房地产行业，我们可以使用回归分析来预测房价。回归分析是机器学习和数据科学中的重要技术，广泛用于数值预测。不同类型的回归模型适用于不同的数据集，我们需要根据实际情况选择合适的模型，并使用适当的技术避免过拟合或欠拟合。
[学习笔记]Regression
Ryzen3的博客
08-18 497
Regression 本文转载自https://blog.youkuaiyun.com/weixin_44406200/article/details/104071036 目录Regression1 Regression的具体过程machine Learning的三个步骤：1.1 定义一个Model1.2 定义一个损失函数1.3 找一个最好的function单个参数的问题两个参数的解决2 宝可梦问题的解决2.1 模型的选择2.2 其它参数的讨论3 Regression实现3.1 准备3.2 代码实现前期准备第一次尝试A
回归（Regression ）
梦码城博客中心
10-13 700
回归（Regression ） 模型定义 Regression 就是找到一个函数 functionfunction ，通过输入特征 x，输出一个数值 Scalar。 模型应用 股市预测（Stock market forecast） 输入：过去10年股票的变动、新闻咨询、公司并购咨询等 输出：预测股市明天的平均值 自动驾驶（Self-driving Car） 输入：无人车上的各个sensor的数据，例如路况、测出的车距等 输出：方向盘的角度 商品推荐（Recommendation） 输入：商品
house-prices-advanced-regression-techniques数据集
02-22
"house-prices-advanced-regression-techniques" 数据集是一个广泛使用的资源，尤其在机器学习社区中，用于训练和测试预测模型，特别是针对房价的预测。这个数据集源自 Kaggle，一个知名的竞赛平台，它提供了丰富的...
regression-js
05-05
gression.js是一个javascript库，其中包含用于在一组数据中查找趋势的最小...var result = regression('linear', data); 通过原点进行线性回归 等式： [gradient]的形式为y = mx var data = [[0,1],[32, 67] .... [12
LinearRegression
03-27
PyTorch线性回归PyTorch实现线性回归 包括模型训练，保存，推理使用等 ...│ └── net_regression.py ├── tool │ ├── generate_data.py │ └── merge_csv.py ├── trainner.py └── util
regressionline_regression_linearregression_线性回归_回归_
10-04
例如，使用Scikit-learn的`LinearRegression`类可以实现普通线性回归，`Ridge`类用于岭回归，而自定义的局部加权回归算法可能需要利用NumPy进行矩阵运算。逐步前向回归可能涉及到循环和模型性能评估，如使用交叉验证...
d3-regression:根据二维数据计算统计回归
04-28
如果使用NPM，则npm install d3-regression 。 否则，请下载。 支持AMD，CommonJS和香草环境。 在香草中，将导出d3全局变量： < script src =" ...
李宏毅深度学习笔记01(Regression)
m0_56404848的博客
07-15 293
Regression定义 Regression(回归):找到一个函数function，通过输入特征x，输出一个数值scalar。 股市预测：输入：过去10年股票的变动、新闻资讯、公司并购咨询等 输出：预测股市明天的平均值 自动驾驶：输入：无人车上的各个sensor的数据，例如路况、测出的车距等 输出：方向盘的方向 商品推荐：输入：商品A的特性，商品B的特性 输出：购买商品B的可能性 实现Regression的步骤(机器学习的步骤) eg : 我们要预测Pokemon精灵攻击力。 输入：进化前的cp值，物种
回归（regression）
weixu22的博客
07-13 6873
1. 回归（regression） 1.1 起源与定义 回归最早是被高尔顿提出的。他通过研究发现：如果父母都比较高一些，那么生出的子女身高会低于父母的平均身高；反之，如果父母双亲都比较矮一些，那么生出的子女身高要高于父母平均身高。他认为，自然界有一种约束力，使得身高的分布不会向高矮两个极端发展，而是趋于回到中心，所以称为回归。 目前，从用法角度将其定义为一种数值（scalar）预测的技术，区别于分类（类别预测技术）。 1.2 不同的用法 1.2.1 解释（Explanation） 回归可用于做实证研究，研究
深度学习基础（二）：Regression
weixin_44365744的博客
01-04 1250
深度学习（二）什么是Regression步骤优化方法举例 线性模型 什么是Regression Regression 就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar 。与其他任务不同的是输出一个数值 步骤 Step1：Model Step2：Goodness of Function（确定评价函数，目的寻找最优function） Step3：Best function：gredient descent 梯度下降（求最小损失函数使用梯度下降，目的寻找最优参数） 优化方法
回归 Regression
nameofcsdn的博客
07-05 1681
目录 一，回归 Regression 二，一次线性模型 1，一元线性模型 2，多元线性模型 三，损失函数 1，单个特征的损失函数 2，多个特征的损失函数 四，模型筛选、梯度下降 1，模型筛选 2，梯度下降 五，n次线性模型 1，一元2次线性模型 2，多元n次线性模型 3，过拟合overfitting、欠拟合underfitting 六，误差 七，交叉验证 一，回归 Regression Regression 就是找到一个函数 function，通过输入特征x，输出一个..
回归(Regression)-1
yuemo3353009的博客
01-10 264
@[TOC]Regression 回归 回归 参考来源：台大 李宏毅 2020机器学习深度学习课程 回归能做哪些事？（应用） 应用：预测宝可梦的CP（Combat Power）值 输入某一只宝可梦的所有属性值，找到一个函数f，输出其进化后的CP值 Xcp:某一只宝可梦的CP值 Xw:某一只宝可梦的重量值 … 按照机器学习的步骤： Step1: Model 先设置函数集合 f1 , f2 , f3… 假定每一个f都是这个样子：y = b + w*Xcp ...
我的机器学习之路-Regression(一)
风起
05-29 1178
线性回归学习笔记
network regression
03-17
### Network Regression in Machine Learning or Deep Learning Network regression refers to a type of supervised learning problem where the goal is to predict continuous-valued outputs based on input features. In both machine learning and deep learning, network regression can be implemented using various algorithms such as linear regression, neural networks, decision trees, etc., depending on the complexity of the data and the desired accuracy. In the context of machine learning, one common approach involves utilizing libraries like `scikit-learn` for implementing simple models. For instance, consider the following example that demonstrates how to perform linear regression: ```python import numpy as np from sklearn.linear_model import LinearRegression from sklearn.preprocessing import StandardScaler # Generate random dataset with noise np.random.seed(1) X = np.random.rand(100, 1) * 2 - 1 epsilon = np.random.randn(*X.shape) * 0.1 y = np.sin(np.pi * X) + epsilon # Scale the inputs scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # Initialize and fit the model model = LinearRegression() model.fit(X_scaled, y.ravel()) # Predictions predictions = model.predict(X_scaled) ``` This code snippet illustrates generating synthetic data, scaling it appropriately, fitting a linear regression model, and making predictions accordingly[^2]. For more complex scenarios involving non-linear relationships between variables, artificial neural networks (ANNs), particularly those incorporating activation functions like ReLU, are often employed within deep learning frameworks. These ANNs consist of multiple layers—input layer(s), hidden layer(s), output layer—and employ backpropagation along with optimization techniques during training phases to adjust weights iteratively until convergence criteria are met[^3]. Hyperparameters play an essential role here; they include but not limited to learning rate (`learningrate`) controlling step size at each iteration while moving toward minimizing loss function value over epochs count among others affecting overall performance significantly when tuning these settings manually versus automated methods available today through tools provided by TensorFlow/Keras API packages designed specifically around simplifying this process further without losing flexibility needed per project requirements individually tailored solutions possible too!
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值