python实现——Jaccard相似度(jaccard_coefficient)

 Jaccard相似度的python实现;

#import numpy as np
#from scipy.spatial.distance import pdist#直接调包可以计算JC值 :需要两个句子长度一样;所以暂时不用
import jieba

def Jaccrad(model, reference):#terms_reference为源句子,terms_model为候选句子
    terms_reference= jieba.cut(reference)#默认精准模式
    terms_model= jieba.cut(model)
    grams_reference = set(terms_reference)#去重;如果不需要就改为list
    grams_model = set(terms_model)
    temp=0
    for i in grams_reference:
        if i in grams_model:
            temp=temp+1
    fenmu=len(grams_model)+len(grams_reference)-temp #并集
    jaccard_coefficient=float(temp/fenmu)#交集
    return jaccard_coefficient

a="香农在信息论中提出的信息熵定义为自信息的期望"
b="信息熵作为自信息的期望"
jaccard_coefficient=Jaccrad(a,b)
print(jaccard_coefficient)

 

### Jaccard 相似度 Jaccard 相似度系数衡量两个集合之间的相似程度,定义为交集大小除以并集大小。对于给定的两个集合 \( A \) 和 \( B \),其计算公式如下: \[ J(A, B) = \frac{|A \cap B|}{|A \cup B|} \] 当应用于文本数据时,通常会将文档表示成词袋模型(Bag of Words),即把每篇文档看作是一组单词组成的集合[^1]。 ```python from sklearn.metrics import jaccard_score def calculate_jaccard_similarity(set_a, set_b): intersection = len(set_a.intersection(set_b)) union = len(set_a.union(set_b)) if union == 0: return 0 return float(intersection) / union set_1 = {'jaccard', 'similarity'} set_2 = {'similarity', 'jaccard'} print(calculate_jaccard_similarity(set_1, set_2)) # Output should be close to or equal to 1.0 ``` ### 余弦相似度 余弦相似度通过测量向量间夹角来评估它们的方向一致性而非距离远近。具体来说,在高维空间里,它等于两矢量内积再除以其模长乘积的结果。该方法广泛适用于处理稀疏矩阵场景下的推荐系统等问题中[^4]。 \[ cos(\theta) = \frac{A \cdot B}{\left \| A \right \| * \left \| B \right \| }=\frac{\sum_{i=1}^{n}(a_i*b_i)}{{\sqrt {\sum _{i=1}^{n}}(a_{i})^{2}*{\sqrt {\sum _{i=1}^{n}}(b_{i})^{2}}} }\] 下面是一个简单的 Python 实现例子: ```python import numpy as np from scipy.spatial.distance import cosine vector_a = np.array([1, 2, 3]) vector_b = np.array([4, 5, 6]) cosine_sim = 1 - cosine(vector_a, vector_b) print(cosine_sim) ``` ### 重叠系数 重叠系数是指两个有限集合之间共同元素的比例关系,特别适合用来比较规模差异较大的样本间的关联强度。它的表达方式是取较小的那个集合与另一个集合相交部分所占比例[^2]: \[ O(A,B)=\begin{cases} \dfrac {|A∩B|}{min(|A|, |B|)},& 若 min(|A|, |B|)\neq 0\\ 0,& 否则 \\ \end{cases}\] 这里给出一段用于计算此指标的小程序片段: ```python def compute_overlap_coefficient(set_x, set_y): smaller_set_size = min(len(set_x), len(set_y)) if smaller_set_size == 0: return 0 intersect_elements_count = len(set_x.intersection(set_y)) return float(intersect_elements_count)/smaller_set_size example_set_one = {"apple", "orange"} example_set_two = {"banana", "grape"} overlap_result = compute_overlap_coefficient(example_set_one, example_set_two) print(f"The Overlap Coefficient between the two sets is {overlap_result}") ```
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值