笔记——线性回归算法总结

原创 已于 2023-07-07 20:36:33 修改 · 137 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #线性回归 #机器学习

于 2022-09-10 11:31:01 首次发布
本文探讨了线性回归和KNN两种算法的差异。线性回归适用于参数学习，常用于回归问题，对数据假设为线性关系，解释性强；而KNN是非参数学习，可用于分类和回归，但无明显假设，解释性较弱。线性回归在解决回归问题时可能更准确。同时介绍了线性回归的数学公式。

1. 线性回归VS KNN

线性回归算法KNN
典型参数学习非参数学习
只能解决回归问题，但是在很多分类算法中，线性回归是基础（逻辑回归）既可以解决分类问题，又可以解决回归问题，但是解决回归问题，准确率没用线性回归算法高
对数据有假设：假设数据有线性关系没有假设
对数据有强解释性没有解释性

2. 线性回归算法公式

在这里插入图片描述
在这里插入图片描述

机器学习笔记（二）k近邻算法 kNN、线性回归法 Linear Regression
qq_45723275的博客
03-23 3486
线性回归法 Linear Regression 1、简单线性回归 寻找一条直线，最大程度的“拟合”样本特征的样本输出标记之间的关系 样本特性只有一个，称为：简单线性回归。 假设我们找到了最佳拟合的直线方程：y=ax+by=ax+by=ax+b，则对于每一个样本点x(i)x^{(i)}x(i)，根据我们的直线方程，预测值为：y^(i)=ax(i)+b\hat{y}^{(i)}=ax^{(i)}+by^​(i)=ax(i)+b，真值为：y(i)y^{(i)}y(i)。我们希望y(i)y^{(i)}y(i) 和
线性回归法
Icarus_的学习笔记
05-22 2081
1.简单线性回归 线性回归法跟我们在上一章所介绍的knn算法不同，knn算法主要用于解决分类问题，而线性回归算法则主要用于解决回归问题，对于现象回归算法来说，它也是思想非常简单，而且实现起来会非常容易，这里的实现容易，和他背后具有非常强的数学性质是相关的。那么这个相应的数学推导会稍微复杂一点，但也并不是特别难，但是由于有这种数学的支撑，使得我们的计算机的实现是很容易的。与此同时，线性回归法虽然非常简单，但是我们后面就会看到它是许多更加强大的非线性模型的基础，无论是多项式回归，逻辑回归甚至是svm，从某种程度
机器学习基础算法总结
Yasin的博客
12-14 2710
KNN算法 K近邻法(k-nearest neighbors,KNN)是一种基本分类与回归的方法，其基本做法是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 与决策树算法相同既可以做分类也可以做回归，主要区别在于最后做预测时候的决策方式。 KNN做分类预测时，一般选择多数表决法，即：找到训练集里和预测的...
几种常用回归算法——线性回归、支持向量机回归和KNN回归
weixin_45221012的博客
04-03 6890
常用回归算法： 线性回归不拟合非线性； 支持向量机回归很好拟合非线性； KNN回归可以拟合非线性，周围样本平均值。
线性回归与逻辑回归的区别
likewind1993的博客
11-18 5585
线性回归 以经典的预测房价为例， 假设样本为（X,yiX, y_iX,yi​），其中X是多维变量（X=(x1,x2...xn)X = (x_1, x_2...x_n)X=(x1​,x2​...xn​)），属性包括房子大小，使用年限等，y是对应该样本的房价。 那么我们就可以得到一个预测房价的假设模型， hθ(X)=θTXh_\theta(X) = \theta^T X hθ​(X)=θTX 只要我们...
机器学习西瓜书笔记——线性回归
m0_73556978的博客
09-19 1328
二元线性回归在直角坐标系中拟合出一条直线，多元线性回归在解空间内拟合出一个超平面。线性回归解释了自变量（特征）与因变量之间的关系，可以根据自变量得到因变量的值。**线性回归可以理解为单层神经网络**，当线性模型有两个输入时，他就是一个感知机。
多元线性回归笔记——逐步回归
weixin_60503596的博客
07-05 1万+
多元线性回归中有关逐步回归部分的详细笔记，包含基本原理和python例子的代码讲解
用Python实现机器学习算法——线性回归算法
qq_42370150的博客
06-24 1566
Python 被称为是最接近 AI 的语言。最近一位名叫Anna-Lena Popkes（德国波恩大学计算机科学专业的研究生，主要关注机器学习和神经网络。）的小姐姐在GitHub上分享了自己如何使用Python（3.6及以上版本）实现7种机器学习算法的笔记，并附有完整代码。所有这些算法的实现都没有使用其他机器学习库。这份笔记可以帮大家对算法以及其底层结构有个基本的了解，但并不是提供最有效的实现。 ...
Jupyter notebook学习笔记——线性回归、多项式回归
Wlis的博客
01-04 6204
import numpy as np X=2*np.random.rand(100,1) y=4+3*X+np.random.randn(100,1) from sklearn.linear_model import LinearRegression lin_reg=LinearRegression() lin_reg.fit(X,y) LinearRegression(copy_X=True,...
机械学习笔记——线性回归
weixin_45634046的博客
12-23 286
算法笔记——线性回归 一、算法简介 1.1 什么是回归分析 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。 1.2 线性回归 线性回归是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w和b。通长我们可以表达成如下公式： y^为预测值，自变量x和因变量y是已知的
机器学习入门：吴恩达课程笔记——线性回归与梯度下降
总结来说，这篇笔记涵盖了机器学习入门中的关键概念——线性回归的假设函数、平方差代价函数以及梯度下降优化算法，这些都是构建和训练简单预测模型的基础。通过理解这些概念，我们可以开始解决类似房价预测这样的...
线性回归，决策树，knn等6种机器学习回归方法总结
m0_37327467的博客
11-13 3159
线性回归： 线性回归所能够模拟的关系其实远不止线性关系。线性回归中的“线性”指的是系数的线性，而通过对特征的非线性变换，以及广义线性模型的推广，输出和特征之间的函数关系可以是高度非线性的。 决策树： 在特征选择中通常使用的准则是：信息增益。 决策树生成选择好特征后，就从根节点触发，对节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据该特征的不同取值建立子节点；对每个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征可以选择为止。 ID3 算法 ID3 是最早提..
回归方法（四）KNN回归
热门推荐
never0822的博客
12-11 1万+
分类与回归的区别：分类是判断对应类别而回归的输出是一个具体值。 KNN基本算法思路：一个样本在特征空间中k个最相似（最邻近）的样本大多数属于同一个类别。（物以类聚） 距离选取：euclidean,manhattan,minkonwski K值可以基于方根误差（RMSE）确定，启发式的找到一个最优近邻数K。 R中的实用包（FNN） 实现案例 KNN回归在R中可以使用FNN::knn.re...
PageRank 算法：互联网的“人气投票”
core815的专栏
12-26 954
PageRank 算法：互联网的“人气投票”
hot100-51搜索二维矩阵
youngee11的博客
12-25 296
对于任意一维索引mid，转换为二维坐标，行号：row=mid/n，列号：col=mid%n。2、这个题目的特性是，每行的第一个元素 > 上一行的最后一个怨怒是，说明所有行是严格递增拼接的，使用上面的解法时间复杂度是O(m+n)，如果使用二分查找时间复杂度是O(log(mn))。m×n的矩阵，每行中的整数从左到右递增排列，每行第一个整数大于前一行的最后一个整数。给定矩阵和target，如果target在矩阵中，返回true，否则返回false。// 取余 → 得到“在该行中的偏移”→ 向下走（排除这一行）；
TDCA 算法在 SSVEP-BCI 中的时间戳技术要求与工程实现
m0_63827302的博客
12-26 619
在基于稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP）的脑机接口（Brain-Computer Interface, BCI）系统中，任务驱动成分分析（Task-Driven Component Analysis, TDCA）作为核心的有监督时空特征学习算法，其性能高度依赖于脑电信号（Electroencephalogram, EEG）与视觉刺激事件的时序一致性 —— 而时间戳正是保障这一一致性的关键技术支撑。
【AI称重算法落地指南】实施步骤、多算法方案与避坑手册
昔时扬尘处
12-27 50
AI称重算法的落地核心是“硬件精准采样+数据高质量标注+轻量化模型适配”，结合STM32G4的算力优势与NanoEdge AI Studio的低代码开发能力，可快速实现100克级精度的称重方案。在算法选型上，静态场景优先DNN（资源占用低、精度高），动态/噪声场景优先CNN（抗干扰强），时序依赖场景优先RNN（快速响应）。实际应用中需重点解决数据分布、噪声干扰、硬件适配三大核心问题，通过样本扩充、软硬件协同优化、现场自学习等手段，确保方案的可靠性与量产适配性。
【计算几何 化环为链】P14165 [ICPC 2022 Nanjing R] 清空水箱|普及+
最新发布
闻缺陷则喜何志丹
12-28 697
本文研究了ICPC 2022南京站竞赛题目"清空水箱"的解法。该问题要求在多边形水箱上安装最少数量的出水阀门，使得打开所有阀门后水箱中的水能完全流出。通过计算几何分析，发现只需在满足特定条件的顶点处安装阀门即可。关键点在于：1) 处理相邻顶点共线的情况；2) 使用化环为链的方法简化多边形处理；3) 通过叉积判断顶点是否需要阀门。最终解法时间复杂度为O(n)，适用于顶点数n≤2000的情况。样例测试验证了算法的正确性，如样例1需2个阀门，样例2仅需1个。
Q-learning 算法 —— 无模型（model-free）强化学习
一杯水果茶！足矣~
12-25 1351
从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值