机器学习笔记1——线性回归，梯度下降

最新推荐文章于 2025-08-09 21:50:43 发布
最新推荐文章于 2025-08-09 21:50:43 发布
阅读量513 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WuSnake123/article/details/57412886
本文介绍了线性回归的基本原理，包括如何使用最小二乘法来拟合数据并预测连续变量的值。文中还详细阐述了两种优化方法：批梯度下降法和随机梯度下降法，以实现参数的迭代更新。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

线性回归处理连续变量预测

假设m个样本（x1,y1）....(xm,ym)

h(x)=θ0*x0+θ1*x1+...+θm*xm   预测值

J( θ)= ∑1/2*（yi-h(xi)）^2  为误差，使得J( θ)最小即可

对J( θ)求偏导，并令∂J( θ)/∂θ = 0即可

另一种方法是梯度下降。

令θ=（0,0,0，...0）

θ  = θ - α * ∂J( θ)/∂θ     α为步长。


直到θ变化在一定的阈值内。这被称为批梯度下降法，优点准确，缺点效率低

变种是随机梯度下降法，每次处理一个样本



【机器学习笔记】2 线性回归
RIKI_1
01-27 1072
回归可以用1和0来表示二分类问题可以用1和0来表示。
机器学习笔记——线性回归、梯度下降
star_and_sun的博客
05-29 296
梯度也就是寻找函数增加变化最快的方向，反方向就是减小最多的方向，如果损失函数按照梯度的反方向调整，很快就可以减小了。（SGD），这样子也快也不复杂，但是可能不稳定，因为单个样本计算出来的可能与所有的不一致，再加上如果不是凸函数，可能下降梯度就发生偏移了，所以可以选择多个点来下降，可以使用。什么是线性回归就不说了，直接说线性回归的目标就是首先需要一个损失函数，使得损失函数最小化来训练得出的模型，最常用的损失函数是均方误差。其实还可以分析不同学习率下的结果，来调整合适的学习率，一般情况下学习率越大速度越快。
机器学习西瓜书笔记——线性回归
m0_73556978的博客
09-19 1229
二元线性回归在直角坐标系中拟合出一条直线，多元线性回归在解空间内拟合出一个超平面。线性回归解释了自变量（特征）与因变量之间的关系，可以根据自变量得到因变量的值。**线性回归可以理解为单层神经网络**，当线性模型有两个输入时，他就是一个感知机。
机器学习——单变量线性回归、梯度下降
ReadyGo!!!的博客
06-04 1548
笔记适合于：【吴恩达-机器学习】 课程
机器学习笔记——线性拟合及梯度下降
lanshahewu的博客
08-23 2993
机器学习笔记——线性拟合及梯度下降线性拟合为什么要构造代价函数（1）从特殊情况：过原点的直线看起，只有一个参数的情况（2）从非特殊情况：不过原点的直线看起，有两个参数的情况梯度下降法梯度下降法数学含义梯度下降法下降方向的选择实现梯度下降法的学习率（每一步走多大？）批量梯度下降法 线性拟合 从这里开始，给出dataset,找出一条直线拟合，因为使用一条直线去拟合，所以叫做线性拟合。 我们要找出这条曲线的表达式来表征这条直线，如下： 这个是我们的假设函数： 我们最终是要求出上面表达式中的未知数： 为求出这
✨机器学习笔记（二）—— 线性回归、代价函数、梯度下降
qq_53569667的博客
09-08 1161
吴恩达机器学习笔记
机器学习笔记——梯度下降、反向传播
weixin_45978839的博客
12-28 1592
参考视频——B站刘二大人《PyTorch深度学习实践》Tensor，中文叫做张量。在深度学习里，Tensor实际上就是一个多维数组（multidimensional array）。在概念上与numpy中的ndarrays是一样的，很多用法类似于numpy中的ndarrays。使用Tensor的目的是能够创造更高维度的矩阵、向量。Tensor可以在gpu或其他专用硬件上运行来加速计算。在pytorch中tensor可以用来构建计算图，计算梯度。
机器学习笔记02——线性回归
S1406793的博客
11-05 1060
1.使用不同的方法来调整系数的上限：L1正则项将系数设置为0来进行特征选择，以减少相关性较低的特征；L2正则项是对值比较大的系数进行惩罚但并不设置为0，并且还调整参数λ的值，确保系数不会受到严厉的惩罚，不至于欠拟合。L1正则化和L2正则化都是在目标函数的后面添加一个正则项用来防止过拟合，L1正则项是基于L1范数，添加一个参数的绝对值和参数的积项；3.稳定性：对于新数据的调整，L1变动很大，L2整体变动不大。随着维度（特征数量）的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降。
吴恩达机器学习笔记——线性回归
程小白的博客
03-01 1056
线性回归算法
机器学习——线性回归(Linear Regression)
1
10-05 9471
机器学习学习笔记——2
机器学习——单变量线性回归.pdf
03-27
本篇文档是根据吴恩达在机器学习课程中讲解的内容所作的笔记，涵盖了单变量线性回归的核心概念和算法流程，包括假设函数、代价函数、梯度下降法、学习率的选择以及线性回归的梯度下降。 首先，假设函数（Hypothesis...
吴恩达机器学习课程CODE1：线性回归算法（应用平方误差与梯度下降）
12-22
1.线性回归问题课程笔记 1）简单介绍 线性回归问题需要有一个真实的直线来对给定x求出y，但现在我们不知道这条直线，需要根据训练集去拟合一条无限逼近这条真实直线的直线，以用于预测。 如图根据训练集，力求得到一...
机器学习入门：吴恩达课程笔记——线性回归与梯度下降
"这篇机器学习笔记总结主要涵盖了吴恩达教授的课程内容，重点在于机器学习中的线性回归和梯度下降算法。" 在机器学习领域，线性回归是一种基本的预测模型，常用于建立输入特征（如房屋大小）与输出目标（如房屋价格...
# 机器学习笔记2——参数学习、非参数学习、局部加权线性回归、线性回归的概率解释、logistics回归
Taylor Wu的专栏
02-26 1398
机器学习笔记2——参数学习、非参数学习、局部加权线性回归、线性回归的概率解释、logistics回归
机器学习笔记6
Taylor Wu的专栏
03-02 556
核函数 在节中，我们的SVM分类器可以实现分类了   对于一个新的样本x，我们只需要计算这个新样本与训练集的內积即可，而且只会计算支持向量的內积，因为其他向量的=0。 实际上，对于一个线性不可分样本集，我们一般做法是将其映射到更高甚至无限高的维度空间，来在高维情况下进行SVM分类 例如 这时，我们用代替x即可。并令 其中即被称为核函数 假设，
机器学习及其KNN算法
qq1851417332的博客
08-08 1539
机器学习（Machine Learning, ML）是人工智能的核心分支，旨在通过算法让计算机从数据中自动学习规律并优化性能，而无需显式编程。这一技术领域起源于20世纪50年代，随着计算能力的提升和大数据时代的到来，在21世纪得到了迅猛发展。
机器学习 集成学习之随机森林
weixin_72931638的博客
08-05 1345
集成学习：通过组合多个基础学习器（如决策树、逻辑回归等）提升模型性能，典型方法包括：Bagging（如随机森林）Boosting（如AdaBoost、XGBoost）堆叠模型（Stacking），用于垃圾邮件识别，包含4500行数据，57个特征列（A列到BED列），BFD列为标签结果（0和1）。特征说明：前48个连续特征为单词频率（如makeaddress3d等），用于识别垃圾邮件关键词。后6个连续特征为字符频率（如数字12等），用于监测QQ号、手机号等敏感字符。
【线性代数】线性方程组与矩阵——（1）线性方程组与矩阵初步
最新发布
weixin_45725295的博客
08-09 565
由m×nm\times nm×n个数aiji12m;j12n排成mmm行nnn列的数表称为mmm行nnn列矩阵，简称m×nm\times nm×n矩阵，记作Aa11a12a1na21a22a2n⋮⋮⋮am1am2amnA​a11​a21​⋮am1​​a12​a22​⋮am2​​​a1。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值