机器学习之相似性度量

0.引言

在建模的过程中，当需要整理出两两样本之间的联系时，通常会使用“相似性（similarity）”来描述这种联系。在一般语境中，我们通常会用“距离（distance）”来代表这种联系。一般来说，相似性和距离代表的含义是相同的。而对距离的正确建模能帮助模型更快的挖掘出隐含在数据分布之间的联系。

1.两样本的相似度的衡量

1.1 基本性质

• 非负性：$dist(x_i,x_j)\ge 0$
• 同一性：$dist(x_i,x_i)=0$
• 对称性：$dist(x_i,x_j)=dist(x_j,x_i)$
• 直递性：$dist(x_i,x_j)=dist(x_i,x_k)+dist(x_k,x_j)$

1.2 常用度量方式：以n维样本$x_1=(x_{11},x_{12},...,x_{1n})$，$x_2=(x_{21},x_{22},...,x_{2n})$ 为例

• 闵可夫斯基距离（对应P-范数）:$dist(x_1,x_2)=({\sum }_{u=1}^n|x_{1u}$