K-nearest neighbors and Euclidean Distance

最新推荐文章于 2023-05-27 13:55:11 发布
原创 最新推荐文章于 2023-05-27 13:55:11 发布 · 359 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #数学基础

本文探讨了K-最近邻(KNN)算法在机器学习分类中的应用，解释了K值选择的重要性及其对预测准确性和置信度的影响，并介绍了作为算法核心的欧氏距离计算方法。

K-nearest neighbors and Euclidean Distance

This is my study notes in machine learning, writing articles in English because I want to improve my writing skills. Anyway, thanks for watching and if I made some mistakes, let me know please.

What is K-nearest neighbors algorithm?

It is a supervised learning algorithm in classification. We have prior-labeled data for training, telling the machine which data belongs to which group. Clustering is the other algorithm in classification but it is unsupervised learning method.
The algorithm bases on distances between predicted data and trained data which are knew before. Distance is also understood as proximity intuitively.

What the K and nearest means?

K is a number we can choose, which symbols how many data points we choose that nearest to the new data. Usually we want to use an odd number as K because this algorithm is going to basically go to a majority vote based on the neighbors. If we use even number, we may get into trouble of 50/50 split situation. There many ways to apply weights to distance to penalize greater distances data, we may use even number for K.

Accuracy or Confidence

During prediction process, the algorithm will select K points which closest to the new data point, and then, find out the largest categories(classification), it means probably this data belongs to this group. The rate of ’positive number / K’ stands for confidence, which means how much we can trust this data belongs to this group. Accuracy is used in testing model after training. They are completely different.

Euclidean Distance

coming soon

机器学习笔记——KNN（K-Nearest Neighbors，K 近邻算法）
haopinglianlian的博客
11-17 2148
本笔记介绍机器学习中的 KNN（K-Nearest Neighbors，K 近邻算法）
07_机器学习算法_K近邻(k-nearest neighbors)初探
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
05-16 717
带有空值的欧式距离计算公式k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。
机器学习算法（三）K近邻（k-nearest neighbors）
God58991的博客
12-29 1547
一、KNN的介绍和应用 1.1 KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力，对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形
k-Nearest Neighbors(k近邻算法)
Steve Wang's blog
06-02 5290
内容总结自花书《deep learning》Chapter5，由英文版翻译而来，英文版可以在其官网免费查阅。同时博主也发明中文翻译版的诸多错误和不细致的地方，建议阅读英文版。 k-Nearst Neighbors(k近邻算法 近邻回归算法(nearest neighbor regression)模型简单地存储来自训练集的X\pmb{X}XXX和y\pmb{y}y​y​​y，当被要求分类一个测试...
KNN最近邻算法
11-13 3179
算法概述 K最近邻(K-Nearest Neighbor,KNN)算法，是著名的模式识别统计学方法，在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。 基本思想 如果一个实例在特征空间中的K个最相似（即特征空间中最近邻）的实例中的大多数属于某一个类别，则该实例也属于这个类别...
K-Nearest Neighbor理解笔记（KNN原理及代码实现）
Dylan的博客
06-05 8022
目录 邻近算法(Nearest Neighbor) 概念原理 算法分析 代码实现 K近邻算法（K-Nearest Neighbor） 概念原理 算法分析 代码实现 优缺点分析： 邻近算法(Nearest Neighbor) 概念原理 邻近算法(Nearest Neighbor)的思想实际上十分简单，就是将测试图片和储存起来的训练集一一进行相...
【KNN】sklearn.neighbors.KNeighborsClassifier的参数说明
小苏打的学习博客
06-22 1万+
class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, algorithm=’auto’, leaf_size=30,p=2, metric=’minkowski’, metric_params=None, n_jobs=1, **kwargs)
K近邻 K-Nearest Neighbors
JasonH2021的博客
05-27 3725
本文主要简单介绍了K近邻的基本概念，优缺点，应用场景，K近邻建模的python实现方法，示例和模型的参数等。
k-NN最近邻算法(k-nearest neighbors algorithm)
wangprince2017
10-07 6232
本文是一篇k-NN学习笔记，内容如下： 一. k-NN简介 二. k-NN原理 三. 关于 k-NN的进一步讨论 3.1 K的大小怎么选择? 3.2 怎么计算最近“邻居”? 3.3 既然是监督学习，怎么训练？ 3.4 k-NN怎么用于回归？ 3.5 最后，为什么选择k-NN? 四. k-NN应用-提高约会对象匹配(python) 4.1 读文件，解析特征向量和类别标签 4.2 特征标准化 4.3 画散点图，观察特征 4.4 利用k-NN算法进行分类 ...
k-Nearest Neighbors (kNN) Regressor
04-22
k-最近邻（k-Nearest Neighbors，简称kNN）是一种监督学习方法，常用于分类和回归问题。在kNN回归中，我们关注的是预测连续数值型的目标变量，而非离散的类别。这个算法基于一个简单直观的原理：未知数据点的输出值...
KNN(临近算法k-NearestNeighbo) L1 和 L2距离计算
XM_no_homework的博客
02-23 6122
KNN基础中 L1 和 L2 距离是最核心的两个公式 1、L1距离 L1距离很简单，就是矩阵I1和矩阵I2每个元素（aij） 相减的绝对值，这一点CS231中给出了很明确的计算： L1 Numpy实现： for i in range(num_test): a = X_test[i]-X_train[j] b = np.fabs(a) dists[i][j] = np.sum(b) 2、...
KNN(k-nearest neighbor的缩写)最近邻算法原理详解
热门推荐
春华秋实
08-24 9万+
k-最近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 基于实例的学习 已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 基于实例的...
机器学习——最邻近规则分类（K Nearest Neighbor）KNN算法
loveliuzz的博客
09-12 1万+
1、简介 （1）Cover和Hart在1968年提出最初的临近算法 （2）邻近算法属于分类（classification）算法 （3）输入基于实例的学习（instance-based learing）,懒惰学习（lazy learing）——处理训练集时并没有建造任何的模型，当对一个未知的实例进行归类时才进行归类 2、举例 如何将电影的例子模拟成一个广泛的模型？ 对于每一个电影模拟
distanceTransform 距离变换
Gone_HuiLin的博客
11-18 1449
#include #include #include #include int main() { cv::Mat srcImage = cv::imread("22.jpg"); if( !srcImage.data ) return -1; // 转换为灰度图像 cv::Mat srcGray; cvtColo
Nearest neighbor graph | 近邻图
weixin_33704591的博客
07-18 2436
最近在开发一套自己的单细胞分析方法，所以copy paste事业有所停顿。   实例： R eNetIt v0.1-1 data(ralu.site) # Saturated spatial graph sat.graph <- knn.graph(ralu.site, row.names=ralu.site@data[,"SiteName"]) head...
k-Nearest Neighbors（k近邻）
nakaizura
10-09 1万+
kNN原理，Python实现，改进思想及算法，应用。所谓近朱者赤，近墨者黑，物以类聚，人以群分。如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。打个比方，如果与你关系好的（或最相似的）排名前k个好朋友大多数都喜欢机器学习，那么我可以做出预测：你本身是非常喜欢机器学习的......
KNN算法中常用的距离计算公式
sanqima的专栏
04-28 4万+
KNN，英文全称为K-nearst neighbor，中文名称为K近邻算法，它是由Cover和Hart在1968年提出来的。 　　KNN算法流程： 　　输入：训练数据集　　 T=(x1,y1),(x2,y2),...,(xN,yN)T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)} 　　其中，xi∈X⊆Rnx_i \in \mathcal{X} \subseteq R
k 最近邻_k最近邻与维数的诅咒
weixin_26752765的博客
09-05 496
k 最近邻 机器学习模型和维数的诅咒 (Machine Learning models and the curse of dimensionality) There is always a trade off between things in life. If you take up a certain path then there is always a possibility that y...
k-nearest neighbors algorithm - k 最近邻算法
程永强
04-11 2988
kkk-nearest neighbors algorithm - kkk 最近邻算法 In pattern recognition, the kkk-nearest neighbors algorithm (kkk-NN) is a non-parametric method used for classification and regression. In both cases, the input consists of the kkk closest training examples in th
k-最近邻 (k-Nearest Neighbors, k-NN)
最新发布
09-07
<think> 我们正在讨论k-最近邻算法（k-NN）。根据用户需求，需要详细描述该算法，同时遵循系统级指令（如数学公式格式、引用标记等）。同时，用户引用的内容中提到了k-NN的基本概念、特点、优缺点以及应用，我们将整合这些信息并扩展。 参考引用内容： [1]：k-NN算法简单直观，无参数，懒惰学习，应用于分类和回归。 [2]：k-NN分类器的理论性质（一致性）以及回归的应用，同时给出了一些术语解释。 [3]：k-NN的计算成本问题（随维度或样本量指数增长），以及优点（实现快、训练时间少、预测准确性高）和一个应用示例（约会对象匹配）。 接下来，我们将按照以下结构组织回答： 1. 算法概述 2. 工作原理（分类和回归） 3. 关键参数与距离度量 4. 优缺点分析 5. 优化方法 6. 应用场景 7. 示例（可选，但引用[3]提到约会对象匹配，可以简述） 8. 相关问题 注意：在适当的地方添加引用标记（如[^1],[^2],[^3]），并使用正确的LaTeX格式。 </think> ### k-最近邻 (k-Nearest Neighbors, k-NN) 算法详解 k-NN 是一种**基于实例的监督学习算法**，通过测量待预测样本与训练集样本的相似度进行分类或回归。其核心思想是：相似样本的特征空间距离相近，因此可通过最近邻的标签预测目标样本的类别或数值[^1][^3]。 --- #### 一、核心原理与数学表示 1. **基本假设** 假设特征空间中相邻样本具有相似属性： $$ P(y=c \mid x) \approx P(y=c \mid x') \quad \text{当} \quad d(x,x') \to 0 $$ 其中 $d(\cdot)$ 为距离度量函数，$c$ 为类别标签[^2]。 2. **决策规则** - **分类任务**：投票机制 $$ \hat{y} = \arg\max_{c} \sum_{x_i \in N_k(x)} \mathbb{I}(y_i = c) $$ 其中 $N_k(x)$ 是 $x$ 的 $k$ 个最近邻集合，$\mathbb{I}$ 为指示函数[^1]。 - **回归任务**：加权平均 $$ \hat{y} = \frac{1}{k} \sum_{x_i \in N_k(x)} y_i \quad \text{或} \quad \hat{y} = \sum_{x_i \in N_k(x)} w_i y_i $$ 权重 $w_i$ 通常与距离成反比（如 $w_i = 1/d(x,x_i)$）[^2]。 --- #### 二、关键组件与参数 1. **距离度量** 常用距离函数（$x, z$ 为 $d$ 维向量）： | 距离类型 | 公式 | |----------|------| | 欧氏距离 | $d(x,z) = \sqrt{\sum_{j=1}^d (x_j - z_j)^2}$ | | 曼哈顿距离 | $d(x,z) = \sum_{j=1}^d |x_j - z_j|$ | | 余弦相似度 | $d(x,z) = 1 - \frac{x \cdot z}{\|x\| \|z\|}$ | 2. **关键参数** - $k$（邻居数）：控制模型复杂度 - 小 $k$：高方差（对噪声敏感） - 大 $k$：高偏差（决策边界平滑） - 距离权重：缓解样本不平衡问题[^3] --- #### 三、算法流程 ```python def kNN_predict(X_train, y_train, x_test, k=5, metric='euclidean'): distances = [] for i, x_train in enumerate(X_train): dist = calculate_distance(x_test, x_train, metric) # 计算距离 distances.append((dist, y_train[i])) sorted_dist = sorted(distances, key=lambda x: x[0]) # 按距离排序 neighbors = sorted_dist[:k] # 选择k个最近邻 if task == 'classification': votes = Counter([label for _, label in neighbors]) return votes.most_common(1)[0][0] # 多数投票 else: return np.mean([label for _, label in neighbors]) # 平均值 ``` --- #### 四、优缺点分析 | **优势** | **局限** | |----------|----------| | ▶ **无显式训练**：惰性学习（lazy learning），无需训练阶段[^1] | ▶ **计算成本高**：预测需计算所有样本距离，复杂度 $O(nd)$（$n$ 样本数，$d$ 维度）[^3] | | ▶ **模型简单直观**：决策过程可解释性强 | ▶ **维度灾难**：高维数据中距离度量失效 | | ▶ **非线性适应**：可拟合复杂决策边界 | ▶ **噪声敏感**：需特征缩放和 $k$ 值调优 | | ▶ **理论保证**：当 $k \to \infty$ 且 $k/n \to 0$ 时具有一致性（consistent）[^2] | ▶ **样本不平衡**：需加权投票或采样 | --- #### 五、优化策略 1. **计算效率优化** - KD树或球树：将搜索复杂度降至 $O(d \log n)$ - 近似最近邻（ANN）：如 Locality-Sensitive Hashing (LSH) 2. **噪声处理** - 距离加权：$w_i = 1/(d(x,x_i)+\epsilon)$ - 编辑训练集：移除边界噪声样本 3. **维度缩减** - PCA 或 t-SNE 降维后再应用 k-NN --- #### 六、应用场景 1. **分类任务** - 手写数字识别（MNIST） - 推荐系统（用户相似度计算） 2. **回归任务** - 房价预测（相似户型均价） - 用户评分预测（协同过滤）[^3] 3. **其他领域** - 生物信息学（基因序列分类） - 异常检测（远离邻居的样本为异常点） > **示例**：约会对象匹配中，用 k-NN 根据特征（年龄、收入、兴趣匹配度）预测用户接受约会的概率[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值