图像处理中的余弦相似度:从CIFAR-10数据集看图片匹配的底层逻辑

相似图片去重--余弦相似度和sift算法 ----------------题目------------------- 摄影师小刘爱好摄影,有许多照片(不同格式,不同分辨率),有的是自己拍摄的,有的是朋友的相机帮忙拍到的。 但他很苦恼,因为有很多照片是类似的(比如,稍微偏了一点角度),请用程序帮他把类似的图片挑选出来。 1.准备数据 准备了120张图片,格式有png,jpg各占一半,且有三种大小1:1,4:3,full 均分。 2.实验设计思路 (1)统一图片格式,方便下一步的比较——300*300的png格式。 (2)计算两张图片之间的距离,判定图 阅读详情

图像处理中的余弦相似度:从CIFAR-10数据集看图片匹配的底层逻辑

最近在整理一个图像检索的小项目时,我重新审视了“相似度”这个看似基础却至关重要的概念。很多刚接触计算机视觉的朋友,一提到图片匹配,可能立刻想到复杂的深度学习模型,比如ResNet、ViT提取的特征。这当然没错,但在深入这些“黑盒”之前,我们不妨先回到一个更本质的问题:抛开神经网络,计算机如何“理解”两张图片是相似的?答案可能比你想象的要“数学”得多——它始于将图像视为空间中的点,并用几何关系来衡量它们的远近。今天,我们就以经典的CIFAR-10数据集为舞台,深入探讨余弦相似度如何成为衡量图片相似性的一把直尺,并亲手用代码实现从图像加载、向量化到阈值判定的完整流程。这篇文章适合那些希望夯实基础,理解算法背后直观几何意义的学习者。我们将不止步于公式,而是聚焦于如何在真实的、尺寸微小的32x32图像上,让理论落地。

1. 核心原理:为什么是余弦,而不是距离?

当我们谈论两张图片的相似度时,一个最朴素的想法是:把图片变成两组数字,然后看它们相差多少。比如计算欧几里得距离(也就是我们常说的直线距离)。这个方法直观,但在图像领域,它常常会“说谎”。

想象一下,你用手机拍了两张桌子的照片,一张光线充足,一张比较昏暗。对于计算机来说,昏暗照片的每个像素值(RGB强度)可能都比明亮照片的要低。如果直接计算对应像素的差值平方和,这个距离会非常大,尽管它们拍的是同一个物体。这里的关键在于,欧氏距离对数值的绝对大小非常敏感。

而余弦相似度巧妙地绕开了这个陷阱。它的核心思想不是比较数值的绝对差异,而是比较两个向量在方向上的“一致性”。它关注的是向量之间的夹角。

一个简单的类比:在评价两份番茄炒蛋时,欧氏距离会纠结于一份盐放了3克,另一份放了5克,从而得出差异很大的结论。而余弦相似度则更关心两份菜中,盐、糖、醋、番茄、鸡蛋这些成分的比例关系是否一致。只要比例相似,即使一份做得量大,一份量小,它们也被认为是“相似”的菜品。

数学上,对于两个向量 A 和 B,它们的余弦相似度定义为:

[ \text{cosine_similarity}(A, B) = \frac{A \cdot B}{|A| |B|} = \frac{\sum_{i=1}^{n} A_i B_i}{\sqrt{\sum_{i=1}^{n} A_i^2} \sqrt{\sum_{i=1}^{n} B_i^2}} ]

这个公式的分子是向量的点积(内积),分母是各自模长(范数)的乘积。它的值域在[-1, 1]之间:

  • 1:表示两个向量方向完全相同(夹角0度)。
  • 0:表示两个向量正交,毫不相关(夹角90度)。
  • -1:表示两个向量方向完全相反(夹角180度)。

在图像处理中,像素值通常为非负(如0-255),因此余弦相似度结果通常在[0, 1]范围内,越接近1越相似。

那么,把图片变成向量,这个“方向”又代表了什么呢?我们可以将其理解为图像中像素强度分布的总体模式或纹理走向。两张内容相似的图片,尽管整体亮度不同(导致向量长度不同),但其像素值的相对分布模式(向量的方向)应该是接近的。这就是余弦相似度在图像比对中往往比纯距离度量更鲁棒的原因。

2. 实战准备:驯服CIFAR-10数据集

理论需要实践的检验,而CIFAR-10是一个绝佳的沙盒。这个数据集包含了10个类别的6万张32x32彩色小图片,尺寸小巧,结构清晰,非常适合进行算法原型验证。我们首先需要把它正确地加载到我们的工作环境中。

我将使用PyTorch来完成数据加载,因为它提供了非常简洁且高效的接口。如果你习惯用TensorFlow或纯NumPy,思路也是完全相通的。

import torch
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt

# 定义数据预处理转换。CIFAR-10原始数据是PIL Image,我们需要将其转换为Tensor,并归一化到[0,1]范围。
transform = transforms.Compose([
    transforms.ToTensor(), # 将PIL Image或numpy.ndarray转换为Tensor,并自动将[0,255]缩放到[0.0,1.0]
])

# 下载并加载训练集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

# 加载测试集(这里我们主要用训练集做实验)
testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                          
计算机视觉十大经典算法实战:从OpenCV到YOLO的完整学习路径 计算机视觉作为人工智能的核心领域,其基础在于图像处理与特征提取算法。这些算法通过卷积、滤波等操作,将原始像素数据转化为高层语义信息,为后续的目标检测、图像分割等高级任务奠定基础。在工程实践中,OpenCV作为经典算法库,提供了从灰度化、滤波到特征提取(如SIFT、ORB)的完整实现,而深度学习框架如PyTorch、TensorFlow则推动了YOLO等现代目标检测模型的发展。这些技术的价值在于能够自动化处理海量图像数据,广泛应用于自动驾驶、医疗影像分析、安防监控等场景。本文以YOLO目标检测和图像分割为例, 阅读详情

相关推荐

【12】 神经网络与深度学习(下)

12章下

课题分离 369

ImageSimilarity:使用Resnet50 + KNN在数据集中查找相似图像以获取新图像。 为了解决使用PCA降低维度的诅咒

图像相似度 使用Resnet50+KNN在数据集中查找相似图像以获取新图像。 为了解决curse of dimensionality使用PCA来降低特征的维数。 Resnet50(在imageNet上训练) 在没有toplayer的情况下从keras创建Resnet50,以获取卷积特征(2048维)作为输出,而不是图像分类概率。 为数据集的每个图像提取卷积特征(Feature_size:[number_images,2048])。 KNN(不是分类问题) 将最近邻算法拟合到从数据集中提取的特征 提取测试图像(新)的卷积特征,并计算测试图像与数据集的每个图像之间的距离(image_Similarity)。 PCA 将PCA应用于提取的特征并减小尺寸。 使最近邻算法适合新功能

机器学习-余弦相似度计算图片相似性

NULL 博文链接:https://deepfuture.iteye.com/blog/1583934

Ubuntu运行vmware时报错Vmware Unable to install all modules!Use shipped Linux kernel AIO access library解决。

Ubuntu运行vmware时报错Vmware Unable to install all modules! vmware --version 提示下面内容: [AppLoader] Use shipped Linux kernel AIO access library. An up-to-date "libaio" or "libaio1" package from your system is preferred. VMware Workstation 16.1.2 build-17966106

wto882dim的博客 2851

告别手动输入!用Burp插件+ddddocr,5分钟搞定图片验证码自动识别

本文详细介绍了如何利用Burp插件和ddddocr开源库快速构建图片验证码自动识别系统,实现高效、零成本的验证码自动化解决方案。通过环境搭建、性能调优和Burp Suite深度集成,显著提升安全测试效率,特别适用于金融和电商系统的批量测试场景。

weixin_29099217的博客 203

文献计量VOSviewer分析知网文献基本操作及实用技巧

本教程旨在为读者提供一个关于VOS viewer的初级使用指南。VOS viewer是一个强大的科学研究可视化工具,主要用于构建和可视化科学地图。它能够处理大规模的科研数据,包括文献引用、共引、共词、共作者等信息。无论你是科研人员,还是数据分析师,甚至是研究生,都能在这个教程中找到使用VOS viewer的有效方法。我们将一步步教你如何使用这个软件,以及如何利用它进行科研数据的可视化。

Jia_n的博客 8773

非sudo用户如何安全使用Docker:Rootless模式实战指南

Docker Rootless模式是一种基于Linux用户命名空间(userns)的容器运行时安全机制,它通过UID/GID映射、fuse-overlayfs文件系统和slirp4netns网络栈,在不提升权限的前提下实现容器隔离。其核心原理是将容器内root身份映射为宿主机非特权用户,从而规避docker组等价root的安全风险。相比传统root模式,Rootless在权限控制、逃逸防护和多租户隔离方面具备天然优势,适用于CI/CD流水线、Kubernetes边缘节点及受限生产环境。本文聚焦无sudo权限

weixin_30274627的博客 351

交通银行金融科技后端开发实习生面试经验

笔试之路的第一个脚印。不足的地方:基本功不扎实,得补。先补sql(先整理出一篇sql语句做题的文章,争取下次笔试拿下这一块),编程题中的SQL写不出来感觉很丢人。然后补八股文,结合一些网上项目教程,来理解常用的一些八股文(比如各种锁)。

T__TSZ的博客 1749

中断向量表配置不当引发Default_Handler死循环问题解析

本文深入解析STM32开发中因中断向量表配置不当导致的Default_Handler死循环问题。以STM32F407VET6为例,详细阐述中断向量表的工作原理、常见触发场景及系统化排查方法,并提供使用STM32CubeMX的正确姿势和手动配置的注意事项,帮助开发者快速定位并解决这一常见难题。

grafana6viz的博客 182

【DeepSeek-R1 】分词系统架构解析

DeepSeek-R1 分词系统解析 DeepSeek-R1 采用 SentencePiece Unigram 算法,通过统计语言模型实现高效子词分词。其核心优势包括: 算法对比:相比 BPE/WordPiece,Unigram 基于概率模型,支持多语言,自动回退字符级处理。 特性优化:智能空格处理、数字分桶、多语言统一支持,并采用前缀树索引和 SIMD 并行加速,编码速度达 12,458 tok/s。

赶紧的博客 433

华为OD机试双机位C卷-用户入网定期复评(C/C++/Py/Java/Js/Go)

华为OD机试(机考)双机位C卷 【用户入网定期复评】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【用户入网定期复评】。

qq_45776114的博客 841

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: Matcap技术解析:从原理到实战优化
下一篇: Python实战:用Dual Thrust策略玩转期货量化交易(附完整源码)
linux6sysadmin
博客等级 码龄4年 59粉丝 1615原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值