笔记——线性回归算法总结

已于 2023-07-07 20:36:33 修改
阅读量125 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 算法 线性回归 机器学习
于 2022-09-10 11:31:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chairon/article/details/107359405
本文探讨了线性回归和KNN两种算法的差异。线性回归适用于参数学习，常用于回归问题，对数据假设为线性关系，解释性强；而KNN是非参数学习，可用于分类和回归，但无明显假设，解释性较弱。线性回归在解决回归问题时可能更准确。同时介绍了线性回归的数学公式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 线性回归VS KNN

线性回归算法KNN
典型参数学习非参数学习
只能解决回归问题，但是在很多分类算法中，线性回归是基础（逻辑回归）既可以解决分类问题，又可以解决回归问题，但是解决回归问题，准确率没用线性回归算法高
对数据有假设：假设数据有线性关系没有假设
对数据有强解释性没有解释性

2. 线性回归算法公式

在这里插入图片描述
在这里插入图片描述

几种常用回归算法——线性回归、支持向量机回归和KNN回归
weixin_45221012的博客
04-03 6861
常用回归算法： 线性回归不拟合非线性； 支持向量机回归很好拟合非线性； KNN回归可以拟合非线性，周围样本平均值。
回归方法（四）KNN回归
热门推荐
never0822的博客
12-11 1万+
分类与回归的区别：分类是判断对应类别而回归的输出是一个具体值。 KNN基本算法思路：一个样本在特征空间中k个最相似（最邻近）的样本大多数属于同一个类别。（物以类聚） 距离选取：euclidean,manhattan,minkonwski K值可以基于方根误差（RMSE）确定，启发式的找到一个最优近邻数K。 R中的实用包（FNN） 实现案例 KNN回归在R中可以使用FNN::knn.re...
机器学习笔记（二）k近邻算法 kNN、线性回归法 Linear Regression
qq_45723275的博客
03-23 3353
线性回归法 Linear Regression 1、简单线性回归 寻找一条直线，最大程度的“拟合”样本特征的样本输出标记之间的关系 样本特性只有一个，称为：简单线性回归。 假设我们找到了最佳拟合的直线方程：y=ax+by=ax+by=ax+b，则对于每一个样本点x(i)x^{(i)}x(i)，根据我们的直线方程，预测值为：y^(i)=ax(i)+b\hat{y}^{(i)}=ax^{(i)}+by^​(i)=ax(i)+b，真值为：y(i)y^{(i)}y(i)。我们希望y(i)y^{(i)}y(i) 和
线性回归法
Icarus_的学习笔记
05-22 1994
1.简单线性回归 线性回归法跟我们在上一章所介绍的knn算法不同，knn算法主要用于解决分类问题，而线性回归算法则主要用于解决回归问题，对于现象回归算法来说，它也是思想非常简单，而且实现起来会非常容易，这里的实现容易，和他背后具有非常强的数学性质是相关的。那么这个相应的数学推导会稍微复杂一点，但也并不是特别难，但是由于有这种数学的支撑，使得我们的计算机的实现是很容易的。与此同时，线性回归法虽然非常简单，但是我们后面就会看到它是许多更加强大的非线性模型的基础，无论是多项式回归，逻辑回归甚至是svm，从某种程度
机器学习基础算法总结
Yasin的博客
12-14 2638
KNN算法 K近邻法(k-nearest neighbors,KNN)是一种基本分类与回归的方法，其基本做法是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 与决策树算法相同既可以做分类也可以做回归，主要区别在于最后做预测时候的决策方式。 KNN做分类预测时，一般选择多数表决法，即：找到训练集里和预测的...
机器学习西瓜书笔记——线性回归
m0_73556978的博客
09-19 1227
二元线性回归在直角坐标系中拟合出一条直线，多元线性回归在解空间内拟合出一个超平面。线性回归解释了自变量（特征）与因变量之间的关系，可以根据自变量得到因变量的值。**线性回归可以理解为单层神经网络**，当线性模型有两个输入时，他就是一个感知机。
多元线性回归笔记——逐步回归
weixin_60503596的博客
07-05 9965
多元线性回归中有关逐步回归部分的详细笔记，包含基本原理和python例子的代码讲解
机器学习——线性回归算法、代价函数、梯度下降算法基础
什么时候才不是菜鸟....
02-20 1290
线性回归算法、代价函数、梯度下降算法
机器学习回归算法——非线性回归（non_linear_regression）
weixin_57205312的博客
08-01 427
【代码】机器学习回归算法——非线性回归（non_linear_regression）
用Python实现机器学习算法——线性回归算法
qq_42370150的博客
06-24 1443
Python 被称为是最接近 AI 的语言。最近一位名叫Anna-Lena Popkes（德国波恩大学计算机科学专业的研究生，主要关注机器学习和神经网络。）的小姐姐在GitHub上分享了自己如何使用Python（3.6及以上版本）实现7种机器学习算法的笔记，并附有完整代码。所有这些算法的实现都没有使用其他机器学习库。这份笔记可以帮大家对算法以及其底层结构有个基本的了解，但并不是提供最有效的实现。 ...
Jupyter notebook学习笔记——线性回归、多项式回归
Wlis的博客
01-04 6136
import numpy as np X=2*np.random.rand(100,1) y=4+3*X+np.random.randn(100,1) from sklearn.linear_model import LinearRegression lin_reg=LinearRegression() lin_reg.fit(X,y) LinearRegression(copy_X=True,...
机械学习笔记——线性回归
weixin_45634046的博客
12-23 275
算法笔记——线性回归 一、算法简介 1.1 什么是回归分析 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。 1.2 线性回归 线性回归是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w和b。通长我们可以表达成如下公式： y^为预测值，自变量x和因变量y是已知的
线性回归与逻辑回归的区别
likewind1993的博客
11-18 5538
线性回归 以经典的预测房价为例， 假设样本为（X,yiX, y_iX,yi​），其中X是多维变量（X=(x1,x2...xn)X = (x_1, x_2...x_n)X=(x1​,x2​...xn​)），属性包括房子大小，使用年限等，y是对应该样本的房价。 那么我们就可以得到一个预测房价的假设模型， hθ(X)=θTXh_\theta(X) = \theta^T X hθ​(X)=θTX 只要我们...
线性回归，决策树，knn等6种机器学习回归方法总结
m0_37327467的博客
11-13 3079
线性回归： 线性回归所能够模拟的关系其实远不止线性关系。线性回归中的“线性”指的是系数的线性，而通过对特征的非线性变换，以及广义线性模型的推广，输出和特征之间的函数关系可以是高度非线性的。 决策树： 在特征选择中通常使用的准则是：信息增益。 决策树生成选择好特征后，就从根节点触发，对节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据该特征的不同取值建立子节点；对每个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征可以选择为止。 ID3 算法 ID3 是最早提..
快速排序算法详解与洛谷例题实战
Sunnyside_______的博客
08-01 1117
通过避免完全排序，将时间复杂度优化至线性阶。分属不同分区，则相对位置可能改变，故为。个整数，使用快速排序升序排列（充分利用CPU缓存局部性原理。
算法提升之数学（快速幂+逆元求法）
最新发布
2301_81754159的博客
08-02 396
今天给大家分享快速幂的相关知识1.快速幂的基本内容2.快速幂的代码3.费马小定理4.逆元。
代码随想录算法训练营第三十七天
2403_87481241的博客
07-31 1241
状态转移方程是核心：对于每件物品，判断是否放入背包，不放入则 dp [j] 不变，放入则等于容量 j - weight [i] 时的最大价值加当前物品价值，即 dp [j] = max (dp [j], dp [j - weight [i]] + value [i])。外层循环遍历目标值从 0 到 n，内层循环遍历 1 到 m 的数字，当数字 i 小于等于当前目标值 j 时，状态转移方程为 dp [j] += dp [j - i]，表示在得到 j - i 的基础上加上 i 形成新的组合。
算法基础——二分查找
梁超杰
07-31 372
二分查找算法是一种在已排序数组中，通过将搜索区间反复划分为两半的搜索算法。二分查找的思想是利用数组已排序的信息，将时间复杂度降低到 O(log N)有两种方法实现二分查找 (迭代和递归)
算法练习：JZ38 字符串的排列
qq_34348690的博客
07-31 250
【代码】算法练习：JZ38 字符串的排列。
机器学习入门：吴恩达课程笔记——线性回归与梯度下降
总结来说，这篇笔记涵盖了机器学习入门中的关键概念——线性回归的假设函数、平方差代价函数以及梯度下降优化算法，这些都是构建和训练简单预测模型的基础。通过理解这些概念，我们可以开始解决类似房价预测这样的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值