【机器学习】以KNN为例的交叉验证网格搜索

最新推荐文章于 2025-08-20 20:33:51 发布

原创

最新推荐文章于 2025-08-20 20:33:51 发布 · 1.1k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #人工智能

KNN

K-Nearest Neighbors 简称为KNN，根据k个最近的邻居的类别判断当前样本的类别，k一般取奇数。

k个邻居中哪种类别的样本多，就判断这个为这个类别

距离判断

knn首先要判断两个样本之间的距离，距离有多种表示方式
- 欧氏距离
  - 生活中常用的距离公式，二维空间中的两点 $x_1,y_1)(x_2,y_2)$ 距离表示为 $(x1−x2)2+(y1−y2)2\sqrt{\left(x_{1}-x_{2}\right)^{2}+\left(y_{1}-y_{2}\right)^{2}}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

de-feedback

关注关注

22
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

机器学习--网格搜索

2201_75491841的博客

04-11

1654

网格搜索（Grid Search），简单来说，就是通过遍历给定的超参数取值范围，尝试所有可能的超参数组合，并在每个组合下训练模型，根据模型在验证集上的性能指标（如准确率、均方误差等）来选择最优的超参数组合。它就像是在一片超参数的 “网格” 中，逐一探索每个节点，以找到那个能让模型发挥最佳性能的 “黄金点”。网格搜索作为一种经典的超参数调优方法，在机器学习领域有着广泛的应用。它以其简单直观和全面搜索的特点，为我们寻找最优超参数提供了有力的工具。然而，其计算成本高和对连续型超参数处理能力有限等局限性也不容忽视。

机器学习：网格搜索和交叉验证

JacksonKim的博客

06-20

1万+

一、网格搜索 1. 超参数的定义在机器学习中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。比如在使用梯度下降法的神经网络中，学习率alpha就是一个超参数。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。 2.什么是网格搜索 了解了超参数的定义，网格搜索就可以很容易理解。简单来讲，网格搜索是一种调参手段，一般是调超参数。它利用的是一种十分简单暴力的方法：穷举搜索。在所有候选的参数选择中，通过循环变脸，尝试每一种可能性，表现最好的参数就是

参与评论您还未登录，请先登录后发表或查看评论

机器学习——网格搜索和交叉验证

qq_54000767的博客

01-12

3067

机器学习——网格搜索和交叉验证

机器学习-网格搜索

qq_26195749的博客

04-25

1269

一. 什么是网格搜索？二.网格搜索是如何计算出最优模型的？

【机器学习】分类算法 - 模型选择与调优GridSearchCV（网格搜索）

热门推荐

wangyuxiang946的博客

07-28

2万+

网格搜索也叫超「参数搜索」，比如K-近邻算法的K值需要手动指定参数，这种参数就叫超参数。网格搜索通过预设几组超参数组合，每组超参数都用交叉验证进行评估，从而选出「最优」的参数组合来建立模型。 sklearn 模块 GridSearchCV 很好的实现了网格搜索，它可以自动调参，只要把参数输进去，就能给出最优的结果和参数。

【机器学习】超参数调优指南：交叉验证，网格搜索，混淆矩阵——基于鸢尾花与数字识别案例的深度解析

weixin_41645791的博客

02-18

1530

本篇文章从零开始讲解交叉验证与网格搜索的概念与原理，并结合两个经典案例——鸢尾花分类与手写数字识别，展示如何在真实数据上使用 scikit-learn 的 GridSearchCV 进行 KNN 超参数调优。文章包含详细代码、注释、可视化过程以及模型评估与对比，帮助你快速上手并掌握在机器学习项目中如何寻找最优模型和超参数。赶快点赞、收藏、转发和评论吧！

交叉验证网格搜索及KNN算法的实现

weixin_74258570的博客

04-25

591

交叉验证网格搜索（cross-validation grid search）是一种常用的机器学习模型调优方法，通常用于选择模型的超参数（hyperparameters）。在交叉验证网格搜索中，我们首先指定一个超参数的候选值列表，然后对每一组超参数组合进行交叉验证（cross-validation）。确定每个超参数的候选值列表，例如，对于一个支持向量机（SVM）模型，我们可能会指定不同的内核（kernel）类型和C值（惩罚参数）。对于每一组超参数组合，使用训练数据构建模型。

机器学习-交叉验证和网格搜索

m0_58535137的博客

03-09

271

【代码】机器学习-交叉验证和网格搜索。

交叉验证网格搜索

Lou20050816的博客

04-25

531

它通过穷举所有可能的参数组合，然后按照预定义的评价指标对模型进行评估，从而找到最佳参数组合。5.若k=5模型得分最好，再使用全部训练集(训练集+验证集)对k=5模型再训练一边，再使用测试集对k=5模型做评估。定义：是一种数据集的分割方法，将训练集划分为n份，拿一份做验证集（测试集）、其他n-1份做训练集。交叉验证法，是划分数据集的一种方法，目的就是为了得到更加准确可信的模型评分。4.使用训练集+验证集多次评估模型，取平均值做交叉验证为模型得分。1.第一次，把第一份数据做验证集，其他数据做训练。

机器学习调参神器--网格搜索

学习记录，厚积薄发

02-03

1582

调好参，过好年！

网格搜索算法

04-23

网格搜索算法，优化向量机。对于向量机的参数进行最优化处理

Python机器学习：KNN算法06网格搜索

持之以恒

12-01

560

code import numpy as np import matplotlib.pyplot as plt import matplotlib from sklearn import datasets digits = datasets.load_digits() #使用scikit-learn中的accuracy_score from sklearn.model_selection import train_test_split X = digits.data y = digits.target .

机器学习基础（三）——KNN/朴素贝叶斯/交叉验证/网格搜索

weixin_43172869的博客

07-02

1450

（1）KNN概念：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。（K Near Neighbor）（2）算法思想：一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。（3）距离度量：一般是用欧式距离，L2范数即可。（4）K值的选择：如果选择较小的K值，相当于在较小的邻域中进行预测，学习的近似误差会减小;缺点是学习的估计误差会增大。如果邻近点恰巧是噪声，预测就会出错。K值减小就意味着整体模型变复杂,容易发生过拟合。如果选择较大K值，就相当于用较

【机器学习】由浅入深学习网格搜索

清弦墨客的博客

12-30

2200

网格搜索的原理、方法与步骤

机器学习之网格搜索技术，如何在Auto-sklearn中应用网格搜索技术

争渡的博客

06-15

5134

是一种基于贝叶斯统计学理论的超参数优化方法，它通过先验概率和观测数据来不断更新超参数空间的后验概率分布，并选择其中最有可能获得最佳性能的超参数组合进行评估。计算每个组合的性能得分，从而找到最佳的超参数组合。一定数量的超参数组合，并评估它们的性能，从而寻找最佳的超参数组合。：适用于超参数空间比较大或无法确定超参数的取值范围时，随机搜索算法可以在超参数空间内随机采样一定数量的超参数组合进行评估。是一种传统的超参数优化方法，它通过定义一组超参数的值域范围，对所有可能的超参数组合进行穷举搜索。

机器学习——网格搜索（GridSearchCV）超参数优化

最新发布

2302_78022640的博客

08-20

1832

*网格搜索（Grid Search）**是一种系统化的超参数优化方法，通过遍历参数网格+交叉验证，找到表现最优的参数组合。在sklearn中，是核心工具。它简单易用，但计算成本高，不适合大规模问题。实际应用中常结合粗到细搜索、随机搜索、贝叶斯优化来提升效率。

【机器学习】分类器调参：什么是Grid Search 网格搜索？

小白兔的窝

07-29

1901

将多种模型的结果通过投票的方式进行聚合。选择的模型的结果要有好有坏，这样聚合的结果最佳。 PLAN1 Majority Class Labels (Majority/Hard Voting) 事先准备三个模型，xgb和rf模型都已经通过cross_validation找出了较好的参数 >>> from xgboost.sklearn import XGBClassifier...

kNN算法调参--超参数和网格搜索

野马

08-24

8454

调参 - 超参数和网格搜索 提升机器学习预测准确率的方式搞数据(特征工程) 增加样本数据行数（样本数量）增加样本数据列数（特征）搞算法调包调参超参数：算法运行前需要决定的参数模型参数：算法训练中学习到的参数 y = a * x + b 例如：决策树算法中，max_depth分支最大深度就是超参数；而分支阈值就是模型参数要寻找既不过拟合，预测准确率又高的...

【机器学习-08】参数调优宝典：网格搜索与贝叶斯搜索等攻略

qq_38614074的博客

03-22

1万+

在机器学习模型调优的过程中，找到参数的最佳组合与所需的计算时间之间始终存在一个权衡。当面对超参数空间庞大、维度众多时，选择适当的优化方式显得尤为重要。网格搜索提供了一种全面而系统的搜索方法，通过遍历所有可能的参数组合来找到最优解。然而，当参数空间较大时，网格搜索的计算成本会急剧增加，可能导致优化过程耗时过长。随机搜索则通过随机抽样来减少计算量，同时保持一定的全局搜索能力。它能够在有限的计算资源下快速找到性能较好的参数组合，尤其适用于超参数空间较大或计算资源有限的情况。手动调参。

掌握机器学习kNN算法：Python实战教程

此外，通过交叉验证和网格搜索等方法来选择最优的k值和距离度量方式，以调优模型性能。在实际应用中，也会遇到需要对算法进行加速的问题，比如通过kd树或球树等数据结构来优化最近邻搜索。通过上述知识点，可以...

【机器学习】以KNN为例的交叉验证 网格搜索

KNN

【机器学习】以KNN为例的交叉验证网格搜索