【三种计算样本欧氏距离的方法——样本数据表示为矩阵】

三种计算样本欧氏距离的方法——样本数据表示为矩阵

背景

近期在看CS231n课程，作业中有关于计算图像样本间Kmeans距离的代码编写，涉及到的距离例如为欧氏距离，计算的三种方法效率由低到高，在学习的过程中令我收益匪浅。

假设图像大小为32*32*3=3072，提供5000个训练样本，500个测试样本，将图像矩阵展开为一维向量，则训练样本为5000*3072矩阵，测试样本为500*3072矩阵。

训练样本的标签已知，现要求计算每个测试样本与每个训练样本的欧氏距离，作为测试样本的分类依据，将计算的距离结果存放在dist矩阵中，dist[i][j]表示第i个测试样本与第j个训练样本的欧氏距离。

---

方法一：双循环逐个计算

对于500个测试样本，5000个训练样本，可以简单的通过两个嵌套的循环遍历计算样本之间的欧氏距离。这是最直观简单的想法，也最容易实现。

def cal_dist_two_loops(train, test):
	"""
	使用两层循环计算欧氏距离
	train为训练样本矩阵，大小为5000*3072
	test为测试样本矩阵，大小为500*3072
	dist为存放样本间距离的矩阵，dist[i][j]表示测试样本i与训练样本j之间的距离
	"""
	num_train = train.shape(0)	# 本文中为5000
	num_test = test.shape(0)	# 本文中为500

	for i in range(num_test):
		for j in range(num_train):
			dist[i][j] = np.sqrt(np.sum(np.square(test[i]-train[j])))

	return dist

在上述代码中，每次取train和test的一行进行相减，实际是1*3072向量每个对应位置的元素相减，之后平方求和即为欧氏距离。

---

方法二：单循环+部分向量化

单循环即只用到一次循环，部分向量化其实是利用了python中矩阵运算的性质。

	def cal_dist_one_loop(train, test):
		"""
		使用一层循环计算欧氏距离
		变量同cal_dist_two_loops
		"""
		num_train = train.shape(0)
		num_test = test.shape(0)
		
		for i in range(num_test):
			dist[i] = np.sqrt(np.sum(np.square(train - test[i]), axis=1