机器学习（一）之Linear Regression

最新推荐文章于 2025-07-29 19:58:43 发布
最新推荐文章于 2025-07-29 19:58:43 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ML&PR&DM 文章标签： Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wingofeagle/article/details/8888982
本文深入探讨了机器学习中的关键概念与技术，包括梯度下降法、正常方程求解、目标函数优化等核心内容，通过Andrew Ng教授的讲解，详细解析了算法背后的数学原理与实际应用。

Andrew Ng对这部分的讲解循序渐进，令人称道。

这一部分的笔记如下：



几个疑问：

1 目标函数为什么要加1/(2m)?

2 梯度下降法中为什么要simultaneous update，另外一种的update方式不行吗，为什么？

3 Normal Equation的方法有什么理论基础？

4 梯度下降法，标准方程及最小二乘法三者在实现时那种效果会好些，为什么？


机器学习方法：回归（一）：线性回归Linear regression
weixin_30617797的博客
03-19 4518
欢迎转载，转载请注明：本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 开一个机器学习方法科普系列：做基础回顾之用，学而时习之；也拿出来与大家分享。数学水平有限，只求易懂，学习与工作够用。周期会比较长，因为我还想写一些其他的，呵呵。 content: linear regression, Ridge, Lasso Logistic Regression...
机器学习经典算法之（十八） Linear Regression
机器之我心的博客
06-18 2760
 一、线性回归简介：    在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。    为了了解这个定义，我们先举个简单的例子：假设一个线性方程y=2x+30, x变量为体重(k...
机器学习——线性回归（LinearRegression）
最新发布
2302_78022640的博客
07-29 1388
线性回归是回归分析的入门基础；使用可以快速构建模型；可以可视化预测结果和分析模型性能；推荐在实际应用中注重数据预处理、特征选择与残差分析。
机器学习—线性回归（Linear Regression）
10-18 1414
线性回归原理和分析
机器学习1 线性回归（Linear Regression）
拉风小宇的博客
05-17 807
立个flag，本人从今天正式开始学习机器学习（Machine Learning） 选取的第一门课还是吴恩达（Andrew Ng）的斯坦福大学公开课 ：机器学习课程，我打算从作业入手，结合课程进行学习，预计一共分为8篇，这是第一篇 单变量线性回归 给定是数据集包括97个数组，其中第一个表示人口数，第二个表示盈利数，我们希望得到两者之间的线性表达关系。下图是将点在坐标轴中绘制出 ![点坐标](...
机器学习实验一Linear Regression
01-17
线性回归是统计学和机器学习领域中最基础且重要的算法之一。本次实验的主题是"机器学习实验一：线性回归"，旨在通过实践加深对线性回归的理解，并掌握其在实际问题中的应用。 线性回归是一种预测性建模技术，用于...
机器学习原理到Python代码实现之LinearRegression
盼盼的博客
01-04 1680
线性回归模型是机器学习中最基础的算法之一，该篇文章从其原理至代码对其做深入剖析和复现，希望对大家的学习有所帮助。
机器学习算法之使用Python实现LinearRegression算法.zip
04-20
线性回归是机器学习中最基础且重要的算法之一，它用于建立因变量与一个或多个自变量之间的线性关系。在本教程中，我们将探讨如何使用Python的Scikit-Learn库来实现线性回归模型。线性回归算法适用于预测连续数值型...
机器学习 - LinearRegression的经典实验jupyter代码
11-12
线性回归是机器学习中最基础且重要的算法之一，它用于建立因变量与一个或多个自变量之间的线性关系。在本实验中，我们将探讨如何使用Python的科学计算库NumPy和数据分析库Pandas来实现线性回归模型，并通过Jupyter ...
机器学习之 Linear Regression
leileii的博客
04-24 144
出现问题在最后的一个小程序上，卡了半天，莫名其妙的算不对数，最后多次尝试，终于发现是。。。吧X*theta-y这一样挪到外面用一个参数来表示，才能把数算对。。。也不知道为啥是这样才能算对。。。可能是计算过程发生了一点变化？？还是一个bug？？ PS：附上代码 warmUpExercise.m function A = warmUpExercise() %WARMUPEXERCISE ...
机器学习基石 - Linear Regression
Sunlight的博客
08-27 457
机器学习基石上 (Machine Learning Foundations)—Mathematical Foundations Hsuan-Tien Lin, 林轩田，副教授 (Associate Professor)，资讯工程学系 (Computer Science and Information Engineering) Linear Regression Problem ...
机器学习——线性回归(Linear Regression)
1
10-05 9554
机器学习学习笔记——2
*Python*机器学习算法——线性回归（Linear Regression）
m0_57916248的博客
09-14 3816
线性回归是一种简单而强大的统计学习方法，广泛应用于数据分析和机器学习领域，通过建立因变量与一个或多个自变量之间的线性关系，帮助我们理解和预测数据中的趋势。无论是简单线性回归还是多元线性回归，都可以通过最小二乘法或梯度下降法求解参数，从而最小化残差平方和（RSS）。模型训练过程中，我们可以使用闭式解 () 或者通过迭代优化求解参数。模型评估时，通过决定系数、标准误差、t 检验和 F 检验等多种指标来衡量模型的性能。
[机器学习实验1]Linear Regression
gyh_420的博客
08-28 1121
线性回归分析，最简单的一个预测模型，也属于机器学习中的监督学习的范畴，这里主要对LINEAR REGRESSION I这部分的实验做个记录。 具体的理论要去看Andrew Ng大神的机器学习课程http://cs229.stanford.edu 问题如下： 对提供的数据进行线性回归并分析几个问题。题目链接http://openclassroom.stanford.edu/MainFolde
机器学习（1）——线性回归（Linear Regression）
Mr_ZZTC的博客
09-05 710
1. Introduction of Machine Learning Step1 : Define a set of function Step2 : Goodness of function Step3 : Pick the best function 2. Linear Regression 2.1 简介 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量...
机器学习10线性回归法Linear Regression
m0_57297999的博客
12-07 968
1.解决回归问题； 2.思想简单，实现容易； 3.是许多强大的非线性模型的基础； 4.结果具有很好的可解释性； 5.蕴含机器学习中的很多重要思想； 样本特征x只有一个称为简单的线性回归； 不用绝对值是因为其不能保证在之后的算法中处处可导； 因此我们选择了真值与预测值差之平方来表示偏差； 推出来这个式子之后我们的目标就是使其尽可能地小； ——典型的最小二乘法的问题 目标，其实就是找到一个模型最大程度拟合我们的数据，在线性回归算法中这个模型就是一个线性回归方程，在这里， 我们称右图目标函数为损失函数（los
机器学习基石第九讲：linear regression
Marcovaldong的博客
04-26 5287
博客已经迁移至Marcovaldo’s blog (http://marcovaldong.github.io/)机器学习基石第十讲介绍线性回归问题（linear regression problem），从这一讲开始课程介绍具体的机器学习算法。后面的大部分内容，博主已经学过，所以笔记可能会简略。Linear Regression Problem借助信用卡发放的问题来介绍线性回归，不过这一次不再是分类
机器学习笔记01：线性回归(Linear Regression)和梯度下降(Gradient Decent)
热门推荐
请叫我AXin
04-09 1万+
最近在Coursera上看吴大神的Machine Learning，感觉讲的真的很棒。所以觉得应该要好好做做笔记，一方面是加强自己对ML中一些方法的掌握程度和理解，另一方面也能方便自己或者同样爱好ML的同学。线性回归(Linear Regression)　　线性回归（Linear Regression）应该是机器学习中最基本的东西了。所谓回归，想必大家在高中时期的课程里面就接触过，给定一系列离散的点
机器学习linearregression和逻辑回归
01-10
### 线性回归与逻辑回归的区别 线性回归是一种用于预测连续变量的方法，其假设因变量 \( y \) 和自变量 \( X \) 之间存在线性关系。模型通过最小化实际观测值和预测值之间的平方差来拟合数据[^1]。 逻辑回归则主要用于分类问题，特别是二元分类。尽管名字中有“回归”，但实际上它是一个分类算法。逻辑回归利用 Sigmoid 函数将输入映射到 [0, 1] 的概率空间内，从而实现类别归属的概率估计[^2]。 #### 数学表达形式差异 对于线性回归而言，目标是最小化损失函数： \[ J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 \] 其中 \( h_\theta(x) = \theta_0+\theta_1x_1+...+\theta_nx_n \)，即线性组合的形式。 而逻辑回归采用的是最大似然估计法求解参数，并且输出经过Sigmoid转换后的结果作为类别的概率分布: \[ P(y=1|x;\theta )=\frac {e^{\theta ^T x}}{1 + e^{\theta ^T x}},P(y=0|x;\theta )=\frac {1}{1 + e^{\theta ^T x}} \] ```python from sklearn.linear_model import LogisticRegression, LinearRegression import numpy as np # Example data generation for demonstration purposes only. X_linear = np.random.rand(100, 1)*10 Y_linear = 3*X_linear.squeeze() + 4 + np.random.randn(100) model_lr = LinearRegression() model_lr.fit(X_linear, Y_linear) print(f'Linear Regression Coefficients: {model_lr.coef_[0]}') X_logistic = np.vstack((np.ones_like(Y_linear), Y_linear)).T Y_logistic = (Y_linear > np.median(Y_linear)).astype(int) model_lg = LogisticRegression(solver='lbfgs') model_lg.fit(X_logistic[:, :-1], Y_logistic) print(f'Logistic Regression Coefficient: {model_lg.coef_[0][0]}') ``` ### 应用场景对比 当面对数值型的目标变量时，比如房价、温度等可以取任意实数的情况，应该优先考虑使用 **线性回归** 来建立预测模型；而对于离散的选择项或是事件发生的可能性评估，则更适合应用 **逻辑回归** 进行处理，例如判断邮件是否为垃圾邮件、客户是否会购买产品等问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值