DistanceMeasure (数据点间的距离计算方法)

本文详细介绍了Mahout中常用的距离度量方法,包括欧几里得距离、马氏距离、闵可夫斯基距离等,并对比了它们在不同场景下的优劣及适用范围。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Mahout-DistanceMeasure (数据点间的距离计算方法)

  在分类聚类算法,推荐系统中,常要用到两个输入变量(通常是特征向量的形式)距离的计算,即相似性度量.不同相似性度量对于算法的结果,有些时候,差异很大.因此,有必要根据输入数据的特征,选择一种合适的相似性度量方法.

X=(x1,x2,..,xn)T,Y=(y1,y2,...yn)T为两个输入向量,

 

1.欧几里得距离(Euclidean distance)-EuclideanDistanceMeasure.

Euclidean Distance

相当于高维空间内向量说表示的点到点之间的距离。
由于特征向量的各分量的量纲不一致,通常需要先对各分量进行标准化,使其与单位无关,比如对身高(cm)和体重(kg)两个单位不同的指标使用欧式距离可能使结果失效
优点:简单,应用广泛(如果也算一个优点的话)
缺点:没有考虑分量之间的相关性,体现单一特征的多个分量会干扰结果。


2.马氏距离(Mahalanobis distance)-MahalanobisDistanceMeasure

C=E[(X-X平均)(Y-Y平均)]为该类输入向量X的协方差矩阵.(T为转置符号,E取平均时是样本因此为n-1)

适用场合:
1)度量两个服从同一分布并且其协方差矩阵为C的随机变量X与Y的差异程度
2)度量X与某一类的均值向量的差异程度,判别样本的归属。此时,Y为类均值向量.
优点
1)独立于分量量纲
2)排除了样本之间的相关性影响。
缺点:不同的特征不能差别对待,可能夸大弱特征。


3.闵可夫斯基距离(Minkowsk distance)-MinkowskiDistanceMeasure(默认p=3)

Minkowski Distance

可看成是欧氏距离的指数推广,还没有见到过很好的应用实例,但通常,推广都是一种进步,特别的,

当p=1,也成做曼哈顿距离,也称绝对距离,曼哈顿距离来源于城市区块距离,是将多个维度上的距离进行求和后的结果ManhattanDistanceMeasure.

Manhattan Distance

当q=∞时,称为切比雪夫距离ChebyshevDistanceMeasure 

切比雪夫距离起源于国际象棋中国王的走法,我们知道国际象棋国王每次只能往周围的8格中走一步,那么如果要从棋盘中A格(x1, y1)走到B格(x2, y2)最少需要走几步?扩展到多维空间,其实切比雪夫距离就是当p趋向于无穷大时的明氏距离:

Chebyshev Distance


4.汉明距离(Hamming distance)-Mahout无

在信息论中,两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说,它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。

    例如:

    1011101 与 1001001 之间的汉明距离是 2。
    2143896 与 2233796 之间的汉明距离是 3。
    "toned" 与 "roses" 之间的汉明距离是 3。


5.Tanimoto系数(又称广义Jaccard系数)-TanimotoDistanceMeasure.

通常应用于X为布尔向量,即各分量只取0或1的时候。此时,表示的是X,Y的公共特征的占X,Y所占有的特征的比例。


5.Jaccard系数

Jaccard系数主要用于计算符号度量或布尔值度量的个体间的相似度,因为个体的特征属性都是由符号度量或者布尔值标识,因此无法衡量差异具体值的大小,只能获得“是否相同”这个结果,所以Jaccard系数只关心个体间共同具有的特征是否一致这个问题。如果比较X与Y的Jaccard相似系数,只比较xn和yn中相同的个数,公式如下:


Jaccard Coefficient


7.皮尔逊相关系数(Pearson correlation coefficient)-PearsonCorrelationSimilarity

即相关分析中的相关系数r,分别对X和Y基于自身总体标准化后计算空间向量的余弦夹角。公式如下:

Pearson Correlation Coefficient


8.余弦相似度(cosine similarity)-CosineDistanceMeasure

Cosine Similarity

就是两个向量之间的夹角的余弦值。

余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量,余弦相似度更加注重两个向量在方向上的差异,而非距离或长度上。

优点:不受坐标轴旋转,放大缩小的影响。

9.调整余弦相似度-Adjusted Cosine Similarity

虽然余弦相似度对个体间存在的偏见可以进行一定的修正,但是因为只能分辨个体在维之间的差异,没法衡量每个维数值的差异,会导致这样一个情况:比如用户对内容评分,5分制,X和Y两个用户对两个内容的评分分别为(1,2)和(4,5),使用余弦相似度得出的结果是0.98,两者极为相似,但从评分上看X似乎不喜欢这2个内容,而Y比较喜欢,余弦相似度对数值的不敏感导致了结果的误差,需要修正这种不合理性,就出现了调整余弦相似度,即所有维度上的数值都减去一个均值,比如X和Y的评分均值都是3,那么调整后为(-2,-1)和(1,2),再用余弦相似度计算,得到-0.8,相似度为负值并且差异不小,但显然更加符合现实。

调整余弦相似度和余弦相似度,皮尔逊相关系数在推荐系统中应用较多。在基于项目的推荐中,GroupLens有篇论文结果表明调整余弦相似度性能要优于后两者。

10.基于权重的距离计算方法:

WeightedDistanceMeasure、WeightedEuclideanDistanceMeasure 、 WeightedManhattanDistanceMeasure

欧氏距离与余弦相似度

借助三维坐标系来看下欧氏距离和余弦相似度的区别:

distance and similarity

根据欧氏距离和余弦相似度各自的计算方式和衡量特征,分别适用于不同的数据分析模型:欧氏距离能够体现个体数值特征的绝对差异,所以更多的用于需要从维度的数值大小中体现差异的分析,如使用用户行为指标分析用户价值的相似度或差异;而余弦相似度更多的是从方向上区分差异,而对绝对的数值不敏感,更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异,同时修正了用户间可能存在的度量标准不统一的问题(因为余弦相似度对绝对数值不敏感)。


注:本文转自:http://www.cnblogs.com/shipengzhi/articles/2540382.html

## 一、非大语言模型字符串相似度(Non-LLM String Similarity) 非大语言模型字符串相似度指标使用传统的字符串距离度量(如 Levenshtein、Hamming 和 Jaro)来衡量参考文本和响应之的相似度。该指标可用于在不依赖大语言模型(LLMs)的情况下评估响应与参考文本的相似性。该指标返回介于 0 到 1 之的分数,其中 1 表示响应与参考文本完全匹配。这是一个非大语言模型指标。 ### 使用 Levenshtein 距离的示例 #### 指标定义与公式 通过计算两个字符串之的编辑距离(Levenshtein距离),衡量字符级相似性,无需依赖LLM。 数学公式: 1. $\text{Similarity} = 1 - \frac{\text{编辑距离}(s_1, s_2)}{\max(\text{len}(s_1), \text{len}(s_2))}$ ○ 编辑距离:将字符串 $s_1$ 转换为 $s_2$ 所需的最少操作次数(插入、删除、替换字符)。 ○ 归一化:通过除以两字符串的最大长度,将结果缩放到 [0,1] 区。 #### 代码示例解析 ```python # 基于 Levenshtein距离(编辑距离) from ragas.dataset_schema import SingleTurnSample from ragas.metrics._string import NonLLMStringSimilarity sample = SingleTurnSample( response="The Eiffel Tower is located in India.", # 生成回答 reference="The Eiffel Tower is located in Paris." # 参考答案 ) scorer = NonLLMStringSimilarity() await scorer.single_turn_ascore(sample) # 输出 0.8918918918918919 ``` #### 计算过程 1. 字符串对比: ○ 响应:"The Eiffel Tower is located in India."(39字符) ○ 参考:"The Eiffel Tower is located in Paris."(38字符) 2. 编辑距离计算: ○ 需要将 "India" 替换为 "Paris",具体操作: ■ 替换 I → P ■ 替换 n → a ■ 替换 d → r ■ 保留 i → i ■ 替换 a → s ○ 总编辑距离:4次替换操作。 3. 相似度计算: $$ \text{Similarity} = 1 - \frac{4}{\max(39, 38)} = 1 - \frac{4}{39} \approx 0.8974 $$ (实际输出为 0.89189) ### 使用 Hamming 距离的示例 #### 指标定义与公式 1. 定义: 通过计算两个等长字符串在相同位置上的字符差异比例,衡量字符级相似性。 ○ 适用场景:仅适用于长度相同的字符串(如固定格式文本、密码校验)。 2. 数学公式: 3. $\text{Similarity} = 1 - \frac{\text{汉明距离}(s_1, s_2)}{n}$ ○ 汉明距离:两个等长字符串在相同位置上不同字符的数量。 ○ $n$:字符串长度。 #### 代码示例 ```python from ragas.metrics._string import NonLLMStringSimilarity, DistanceMeasure from ragas.dataset_schema import SingleTurnSample # 初始化汉明距离计算器 scorer = NonLLMStringSimilarity(distance_measure=DistanceMeasure.HAMMING) # 创建测试样本(需确保字符串等长) sample = SingleTurnSample( response="karolin", # 生成字符串(7字符) reference="kathrin" # 参考字符串(7字符) ) # 计算相似度 similarity_score = await scorer.single_turn_ascore(sample) print(f"相似度得分: {similarity_score}") # 输出: 0
03-18
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值