KNN算法进行图像分类(涉及到计算Dense SIFT描述子)

本文介绍了KNN算法的工作原理及其在图像分类中的应用,特别是结合稠密SIFT描述子进行手势识别。通过调整K值和稠密SIFT的参数,观察分类效果和正确率变化,实验结果显示适当选择参数能提高分类准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

KNN算法可视化

KNN(K-Neareast Neighbor,K邻近分类法),这种算法是先将训练集中的对象标记好类别,然后把要分类的对象与训练集中的标记好的对象进行对比,并由k近邻对指派到哪个类进行投票。
这种算法需要预先设定k值,k值的选择会影响分类的性能;并且这种算法要求将整个训练集存储起来,如果训练集非常大,搜索起来就非常慢。但是这种算法在采用何种距离度量方面是没有限制的。

from numpy.random import randn
import pickle
from pylab import *

n = 200
# two normal distributions
class_1 = 0.6 * randn(n,2) 
class_2 = 1.2 * randn(n,2) + array([1,6])
labels = hstack((ones(n),-ones(n)))
# save with Pickle
#with open('points_normal.pkl', 'w') as f:
with open('points_normal_test.pkl', 'wb') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)
# normal distribution and ring around it
print ("save OK!")
class_1 = 0.2 * randn(n,2)
r = 0.9 * randn(n,1) + 6
angle = 2.5*pi * randn(n,1)
class_2 = hstack((r*cos(angle)/2,r*sin(angle)/4))
labels = hstack((ones(n),-ones(n)))
# save with Pickle
#with open('points_ring.pkl', 'w') as f:
with open('points_ring_test.pkl', 'wb') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)

print ("save OK!")

上述代码创建了两个不同的二维点集,每个点集有两类。
第一个二维点集中的class_1的数据集原本是200行2列的随机正态分布数据,之后将每个数据缩小了0.6倍。class_2的数据集原本是200行2列的随机正态分布数据,之后将每个数据扩大了1.2倍,再将第一列的数据加上1,第二列的数据加上2。将前200个数据标签设置为1,后200个数据标签设置为-1。
第二个二维点集中的class_1的数据集200行2列的随机正态分布数据,之后将每个数据缩小了0.2倍。class_2数据集是类似于长轴长度为2,短轴长度为根号2的椭圆的分布形状。将前200个数据标签设置为1,后200个数据标签设置为-1。

import pickle
from pylab import *
from PCV.classifiers import knn
from PCV.tools import imtools

pklist=['points_normal.pkl','points_ring.pkl']

figure()

# load 2D points using Pickle
for i, pklfile in enumerate(pklist):
    with open(pklfile, 'rb') as f:
        class_1 
### 常见的用于图像分类的机器学习和深度学习算法 #### 一、传统机器学习算法 传统的机器学习算法可以应用于图像分类任务,通常需要先通过手工设计特征提取方法(如SIFT、HOG等)来获取图像的关键特性,然后再利用这些特征输入到分类器中完成分类。 一些常用的监督学习算法包括但不限于: - **支持向量机 (Support Vector Machine, SVM)**:这是一种强大的二分类模型,在高维空间表现良好,可以通过核函数扩展到非线性情况[^1]。 - **决策树 (Decision Tree)** 和其改进版本 **随机森林 (Random Forests)**:它们能够处理复杂的非线性关系并提供直观的结果解释能力[^3]。 - **K近邻算法 (K-Nearest Neighbors, KNN)**:简单易实现,适合小型数据集上的快速原型开发。 此外还存在集成学习技术比如 Bagging 或 Boosting 方法用来提升单个弱分类器的表现效果。 #### 二、深度学习算法 随着计算资源的增长以及大数据时代的到来,基于人工神经网络特别是卷积神经网络(Convolutional Neural Networks,CNNs) 的深度学习框架逐渐成为解决视觉识别问题的主要工具之一。相比起依赖于手动选取特征的传统方式而言,CNN可以从原始像素级别自动抽取高层次语义信息从而达到更好的泛化性能。 以下是几种广泛使用的深度学习架构: - **LeNet**: 这是一个早期的经典 CNN 结构,最初被设计用于手写字符辨识任务。 - **AlexNet**: 它标志着现代深度学习革命起点,并赢得了2012年ImageNet竞赛冠军位置;引入了ReLU激活函数与Dropout正则化手段以促进收敛速度及防止过拟合现象发生. - **VGG系列(Very Deep ConvNets)**: 提出了堆叠更多层的小型滤波器作为构建模块的理念,进一步推动了网络加深趋势的发展方向. - **GoogLeNet/Inception Family**: 利用了多分支结构探索不同尺度的感受野组合可能性,有效减少了参数数量的同时提高了表达力. - **ResNet(Residual Network)**: 解决了非常深网络难以训练的问题,提出了残差连接机制允许梯度直接传播至更深层次节点处. - **DenseNet(Dense Connectivity)**: 所有层之间都相互连接在一起形成密集连通图谱形式,促进了特征重用效率最大化目标达成. 对于实际应用场景来说,预训练模型迁移学习策略往往能带来事半功倍的效果——即先在一个大规模公开可用的数据集上完成初步训练过程之后再针对特定领域需求微调最后几层权重即可满足定制化要求[^5]. ```python import torch from torchvision import models # 加载预训练 ResNet 模型 model = models.resnet50(pretrained=True) # 替换最后一层全连接层适应新类别数 num_ftrs = model.fc.in_features model.fc = torch.nn.Linear(num_ftrs, num_classes) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值