三种计算样本欧氏距离的方法——样本数据表示为矩阵
背景
近期在看CS231n课程,作业中有关于计算图像样本间Kmeans距离的代码编写,涉及到的距离例如为欧氏距离,计算的三种方法效率由低到高,在学习的过程中令我收益匪浅。
假设图像大小为32*32*3=3072
,提供5000个训练样本,500个测试样本,将图像矩阵展开为一维向量,则训练样本为5000*3072
矩阵,测试样本为500*3072
矩阵。
训练样本的标签已知,现要求计算每个测试样本与每个训练样本的欧氏距离,作为测试样本的分类依据,将计算的距离结果存放在dist
矩阵中,dist[i][j]
表示第i
个测试样本与第j
个训练样本的欧氏距离。
方法一:双循环逐个计算
对于500个测试样本,5000个训练样本,可以简单的通过两个嵌套的循环遍历计算样本之间的欧氏距离。这是最直观简单的想法,也最容易实现。
def cal_dist_two_loops(train, test):
"""
使用两层循环计算欧氏距离
train为训练样本矩阵,大小为5000*3072
test为测试样本矩阵,大小为500*3072
dist为存放样本间距离的矩阵,dist[i][j]表示测试样本i与训练样本j之间的距离
"""
num_train = train.shape(0) # 本文中为5000
num_test = test.shape(0) # 本文中为500
for i in range(num_test):
for j in range(num_train):
dist[i][j] = np.sqrt(np.sum(np.square(test[i]-train[j])))
return dist
在上述代码中,每次取train
和test
的一行进行相减,实际是1*3072
向量每个对应位置的元素相减,之后平方求和即为欧氏距离。
方法二:单循环+部分向量化
单循环即只用到一次循环,部分向量化其实是利用了python中矩阵运算的性质。
def cal_dist_one_loop(train, test):
"""
使用一层循环计算欧氏距离
变量同cal_dist_two_loops
"""
num_train = train.shape(0)
num_test = test.shape(0)
for i in range(num_test):
dist[i] = np.sqrt(np.sum(np.square(train - test[i]), axis=1