机器学习（4）-KNN，线性回归，逻辑回归，朴素贝叶斯

最新推荐文章于 2025-05-16 10:58:06 发布
原创 最新推荐文章于 2025-05-16 10:58:06 发布 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文是对机器学习中KNN、线性回归（包括岭回归和lasso回归）、逻辑回归和朴素贝叶斯算法的总结。内容涵盖算法原理和应用，适合初学者了解和回顾。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

接着前文的介绍，这一篇文章继续对机器学习的基础算法进行总结。这些算法都比较简单，没有太多的推理过程，因此集中放在这里汇总一下。

（一）KNN

K近邻学习算法

（二）线性回归

这一小节主要对岭回归和lasso回归进行总结，他们都是普通线性模型的推广形式，引入了不同的正则化项。

岭回归如下（L2正则化项）

lasso回归如下（L1正则化项）

（三）逻辑回归

二类分类模型如下

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习：线性回归与kNN算法实验报告
EbCoder的博客
09-20 381
本实验报告旨在介绍机器学习中的两种经典算法：线性回归和k最近邻（kNN）算法。线性回归是一种用于预测数值型输出的监督学习算法，而kNN算法则属于一种基于实例的学习方法，用于分类和回归问题。k最近邻（kNN）算法是一种基于实例的学习方法，用于分类和回归问题。其思想是通过计算新样本与训练集中各个样本之间的距离，选取距离最近的k个样本来进行预测或分类。本实验报告介绍了机器学习中的两种经典算法：线性回归和k最近邻（kNN）算法。其中，y是预测值，b0是截距，b1是斜率，x是输入特征。
线性回归、逻辑回归、RNN、CNN、KNN、SVM算法总结
热门推荐
BigDataEngineer的博客
10-29 1万+
常见的监督学习：线性回归、决策树、朴素贝叶斯分类、最小二乘法、逻辑回归、支持向量机、集成方法 常见的无监督学习：聚类算法、主成分分析、奇异值分解、独立成分分析。 常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。 常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等 常用的回归技术：线性回归、多项...
day10 knn 线性回归 手写数字识别 分类预测
weixin_30517001的博客
08-14 1053
day10 数据分析 线性回归例子 城市气候与海洋的关系研究 import numpy as np import pandas as pd from pandas import DataFrame,Series import matplotlib.pyplot as plt %matplotlib inline 导入数据各个海滨城市数据 ferrara1 = pd.read_csv...
机器学习之KNN
最新发布
m0_54570435的博客
05-16 922
维度KNN模型类型懒惰学习、非参数模型训练阶段无（直接存储数据）计算成本预测时高（\(O(N)\)）可解释性高（依赖近邻样本直观解释）数据依赖依赖全部训练数据适用场景推荐小规模数据集（如 N<10,000）的快速验证。数据分布复杂、非线性关系明显的场景（如图像、推荐）。需要快速解释预测结果的场景（如医疗诊断辅助）。谨慎使用场景大规模数据集（如 N>100,000，内存与计算效率受限）。高维稀疏数据（如文本特征维度 > 10,000，距离度量失效）。学习路径理论基础。
KNN算法的机器学习基础
喜欢打酱油的老鸟
09-29 1050
KNN算法的机器学习基础 https://mp.weixin.qq.com/s/985Ym3LjFLdkmqbytIqpJQ 本文原标题 ： Machine Learning Basics with the K-Nearest Neighbors Algorithm 翻译 | 小哥哥、江舟    校对 | 吕鑫灿    整理 | 志豪 原文链接：https://towardsdatascie...
机器学习笔记（二）k近邻算法 kNN、线性回归法 Linear Regression
qq_45723275的博客
03-23 3353
线性回归法 Linear Regression 1、简单线性回归 寻找一条直线，最大程度的“拟合”样本特征的样本输出标记之间的关系 样本特性只有一个，称为：简单线性回归。 假设我们找到了最佳拟合的直线方程：y=ax+by=ax+by=ax+b，则对于每一个样本点x(i)x^{(i)}x(i)，根据我们的直线方程，预测值为：y^(i)=ax(i)+b\hat{y}^{(i)}=ax^{(i)}+by^​(i)=ax(i)+b，真值为：y(i)y^{(i)}y(i)。我们希望y(i)y^{(i)}y(i) 和
朴素贝叶斯与KNN算法
Calm-Cat的博客
05-08 4655
数学基础 我们先举一个例子。投硬币是一个随机过程，我们不能预测任意一次投币结果是正面还是反面，我们只能谈论其下一次结果是正面或者反面的概率，如果容貌取得一些额外的数据，如硬币的精准成分，硬币的最初位置，投币的力量与方向，硬币的落地点的情况等，投币的准确结果是可以预测的。 因此，我们有如下定义： 我们将不能获取的那些额外的数据称之为不可观测的变量(unobservable variable)。在投币...
Sklearn机器学习中的主要算法原理以及实现(线性回归、逻辑回归、朴素贝叶斯、K-Means聚类、KNN、PCA主成分分析等等
05-11
简单线性回归(simple linear regression) 简单线性回归通常就是包含一个自变量x和一个因变量y，这两个变量可以用一条直线来模拟。如果包含两个以上的自变量就叫做多元回归(multiple regresseion) 被用来描述因变量y...
Python实现线性回归、逻辑回归、KNN、SVM、朴素贝叶斯、决策树、K-Means7种机器学习算法的经典案例——亲测可用
08-04
Python实现线性回归、逻辑回归、KNN、SVM、朴素贝叶斯、决策树、K-Means7种机器学习算法的经典案例——亲测可用
Sklearn机器学习中的主要算法原理以及实现(线性回归、逻辑回归、朴素贝叶斯、K-Means聚类、KNN等等).zip
12-18
本资料主要涵盖了几个基础且广泛应用的机器学习算法，包括线性回归、逻辑回归、朴素贝叶斯、K-Means聚类以及K近邻（KNN）算法。以下将详细阐述这些算法的原理和实现方法。 1. **线性回归**：线性回归是一种预测模型...
机器学习实战（Python3）：kNN、决策树、贝叶斯、逻辑回归、SVM、线性回归、树回归.zip
08-25
在本压缩包中，我们涵盖了多个机器学习算法的Python3实现，包括k近邻（kNN）、决策树、朴素贝叶斯、逻辑回归、支持向量机（SVM）、线性回归以及树回归。这些都是数据科学领域最常用且重要的算法，它们在预测建模和...
KNN（K-Nearest Neighbor，最近邻算法）
光尘的博客
01-10 2064
工作原理 “近朱者赤，近墨者黑”可以说是 KNN 的工作原理。整个计算过程分为三步： 计算待分类物体与其他物体之间的距离； 统计距离最近的 K 个邻居； 对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。 K 值的选择 K 值的选择是很重要的 如果 K 值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样 KNN 分类就会产生过拟合。 如果 K 值比较大，相当于距离过远的点也会对未知物体的分
KNN && 朴素贝叶斯
weixin_44710924的博客
09-24 1462
一、k近邻算法(KNN) 1.1 定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 1.2 理解：KNN是通过距离间隔的分类算法，通过对每个样本之间的差异大小来对比，选取其中最近的几个（需要自己根据数据集确定）距离，按这几个数据的类别百分比确认最终预测分类。 这就要对高等数学中的距离公式熟悉掌握 1.3 距离公式：√(a1−b1)^2+(a2−b2)^2+(a3−b3)^2 ...
机器学习--分类算法入门Knn kmeans 朴素贝叶斯 决策树
qq_32227619的博客
08-25 1105
Kmeans: K-means算法，也称为K-平均或者K-均值，一般作为掌握聚类算法的第一个算法。 如上图以 K 为2，样本集为M 来描述KMean算法，算法执行步骤如下： （1）随机选取K个点做为初始聚集的簇心（也可选择非样本点）; （2）分别计算每个样本点到 K个簇核心的距离（这里的距离一般取欧氏距离或余弦距离），找到离该点最近的簇核心，将它归属到对应的簇； （3）所有点都归属到簇之后， M个点就分为了 K个簇。之后重新计算每个簇的重心（平均距离中心），将其定为新的“簇核心”； （4）反
KNN&朴素贝叶斯（根据已知推测未知）
m0_66039322的博客
12-09 570
KNN算法原理及示例1：向量化。
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
阿旭的博客
02-23 1514
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
十大经典机器学习算法简介
qq_33177599的博客
05-03 2288
对于分类问题，根据这 k 个样本中最常见的类别来决定待分类样本的类别；对于每个样本点，计算其到每个聚类中心的距离，并将其归类到距离最近的聚类中心所属的类别。：根据输出值和真实标签之间的误差，通过梯度下降算法，更新每一层的权重，使得误差最小化。SVM选择的超平面是使得两个不同类别的样本点到该超平面的距离（间隔）最大化的平面。更新每个类别的聚类中心，使得每个类别内的样本点到其聚类中心的距离最小化。对于每个待分类或预测的样本，计算其与训练集中所有样本的距离。对于给定的输入样本，计算其在各个类别下的后验概率。
朴素贝叶斯算法和K近邻算法
数智笔记
01-30 1057
例如，我们可以使用贝叶斯定理来通过考虑任何给定个体患病的可能性和测试的整体准确性来定义医学测试结果的准确性。K最近邻算法，也称为KNN或k-NN，是一种非参数的有监督学习分类器，它利用接近性来对个体数据点的分组进行分类或预测。假设我们想要预测一个位于类别-1标记的异常值和类别-2标记的训练点之间的点。K是一个超参数），代表我们的最近点。在一个社区中，90%的儿童因流感而生病，10%的儿童因麻疹而生病，没有其他疾病。如果我们需要计算一个新数据点的输出，我们找到最近的K个点，然后计算它们的平均值来得到输出值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值