斯坦福李飞飞-深度学习与计算机视觉数据驱动的图像分类方式：K最近邻与线性分类器

本文介绍了图像分类中的近邻分类器原理及其应用挑战，包括不同距离度量方式的选择、算法复杂度分析及近似近邻算法的使用。文章还探讨了近邻算法在处理拍摄角度、亮度变化、形变等问题时的有效性和局限性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

图像分类是最基础的

challenges
- 拍摄角度
- 亮度
- 形变
- 遮蔽一部分
- 背景杂斑

数据驱动

收集数据
用机器学习的方法训练数据
用得到的模型进行预测

近邻分类器

待分类对象的类别可以通过在它附近的训练数据的类别来确定，所以采取的策略就是找到离待分类对象最近的邻居进行分析。

如何定义距离

曼哈顿距离
差的绝对值
欧氏距离
差的平方

复杂度分析

随规模增大线性减慢

近似近邻算法

FLANN
加快速度

KNN

def classify(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0] # 数据集大小
    # 计算距离
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    # 按距离排序
    sortedDistIndicies = distances.argsort()
    # 统计前k个点所属的类别
    classCount = {}
    for i in range(k):
        votaIlabel = labels[sortedDistIndicies[i]]
        classCount[votaIlabel] = classCount.get(votaIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    # 返回前k个点中频率最高的类别
    return sortedClassCount[0][0