【Educoder数据挖掘实训】用Cosine计算相似度

本文介绍了如何利用jieba库进行中文分词,并通过词袋模型和余弦公式计算两个文本的相似度,以实例演示了如何在数据挖掘实训中实现文本相似度的计算。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【Educoder数据挖掘实训】用Cosine计算相似度

开挖挖挖挖

这个题目跟上一个实训很类似,区别在于本关旨在计算文本的相似度。
这里虽然说的是文本相似度但是却没有提及顺序的问题,比如否定句“不喜欢”和疑问句“喜欢不”在本实训中认为是完全相同的。

首先计算方式是基于 j i e b a jieba jieba库中的函数 j i e b a . c u t jieba.cut jieba.cut,把句子拆分成不同的单词,喜欢不和不喜欢都会被拆分成“不”和“喜欢”。

然后将两个句子的词取并集作为词库,而后进行数量统计。

最后用 c o s i n e cosine cosine计算相似度即可。
计算公式为:
c o s = x 1 ∗ x 2 + y 1 ∗ y 2 x 1 2 + y 1 2 x 2 2 + y 2 2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值