MinHash及其在新闻文本数据上的应用

撩到阿加西的胖

已于 2024-10-24 11:29:58 修改

阅读量1k

点赞数 13

分类专栏： NLP 文章标签： 1024程序员节 hash nlp 自然语言处理

于 2024-10-24 11:28:46 首次发布

本文链接：https://blog.youkuaiyun.com/fanjinglian_/article/details/143203730

版权

NLP 专栏收录该内容

6 篇文章

订阅专栏

MinHash及其在新闻文本数据上的应用

一、什么是 MinHash？

MinHash 是一种**局部敏感哈希（Locality-Sensitive Hashing, LSH）**算法，用于快速估计两个集合之间的 Jaccard 相似度。它广泛应用于文本相似性检测、去重、近似搜索等领域。通过 MinHash，我们能够有效判断两个集合（或文档）内容的相似性，而无需对它们的元素逐一对比。
在这里插入图片描述

1. Jaccard 相似度简介

给定两个集合 A 和 B，其 Jaccard 相似度定义如下：
Jaccard(A,B)= ∣A∪B∣/∣A∩B∣

A∩B：两个集合的交集元素数、A∪B：两个集合的并集元素数。Jaccard 相似度的值在 0 到 1 之间，数值越大表示两个集合越相似。

2. MinHash 的基本思想

直接计算 Jaccard 相似度在大规模数据中会非常耗时。MinHash 提供了一种高效的近似方案。

MinHash 的核心思想是：用哈希函数模拟集合交集与并集的行为。通过将集合中的元素映射为哈希值，再进行特定规则的采样，MinHash 可以高效估计两个集合的相似度。

3. MinHash 算法流程

步骤 1：集合的分词（Shingling）
假设我们有两个文档，要比较它们的相似性。首先，需要将每个文档分解成 n-grams（也叫 shingle）。例如：

文档 1：“I like NLP” → 3-grams = {“I l”, “lik”, “ike”, “NLP”}
文档 2：“I love NLP” → 3-grams = {“I l”, “lov”, “ove”, “NLP”}
分词后的结果可以看成两个集合。

步骤 2：为每个 n-gram 计算哈希值
对每个 n-gram 计算哈希值，用于唯一标识每个片段。例如：
“I l” → 哈希值：2
“ike” → 哈希值：5
“NLP” → 哈希值：11
假设两个文档的哈希值集合如下：

d1={2,5,11}
d2={2,8,11}

这里的哈希函数可选用md5、sha-1、sha-256，自定义哈希函数。但是对于 MinHash，一般更倾向于使用简单整数哈希函数，计算高效、结果稳定。

步骤 3：应用多个哈希函数
我们为每个集合应用多个不同的哈希函数 h1,h2,h3…
对每个集合中的元素，计算这些哈希函数的最小值（即 MinHash 值）。
假设我们有 2 个哈希函数：

h1(x)=(3x+1) mod 13
h2(x)=(5x+2) mod 13

对于集合d1的每个元素分别使用h1和h2：

h1(2)=1,h1(5)=4,h1(11)=3 -> 取最小值=3
h2(2)=12,h2(5)=0,h2(11)=7->取最小值=0

因此，d1的minhash的值为[3,0]

步骤 4：估算相似度
两个集合的 MinHash 签名（minhash values）之间的匹配比例，近似等于它们的 Jaccard 相似度。

如果两个集合的 MinHash 值完全相同，那么它们高度相似。

二、MinHash 在新闻文本相似性检测中的应用

在新闻文本检测中，我们常常需要判断：
是否有两篇新闻重复或相似（如爬虫过程中采集的内容去重）。
是否有新闻抄袭或转载行为。
聚合相似新闻，形成新闻推荐。
MinHash 可以非常高效地完成这些任务。

1. 如何应用 MinHash 进行新闻文本相似性检测

步骤 1：文本预处理
清理新闻内容中的无关信息，如 HTML 标签、标点符号、特殊字符等。
将每篇新闻文本划分为n-grams（例如 5-grams），以保留文本的词序信息。
步骤 2：为每篇新闻生成 MinHash 签名
对每篇新闻的 n-grams 集合应用多个哈希函数，生成MinHash 签名。
例如，每篇新闻生成一个长度为 128 的 MinHash 向量。
步骤 3：使用局部敏感哈希（LSH）加速比较
将每篇新闻的 MinHash 签名存入 LSH 表中。LSH 可以将相似的 MinHash 签名聚集到相同的桶中。
当有新新闻到来时，只需与同一桶中的新闻进行比较，而不需要与所有新闻进行两两比较。
步骤 4：判断相似性
使用 MinHash 签名之间的匹配比例来估算 Jaccard 相似度。
如果相似度超过某个阈值（如 0.8），则认为这两篇新闻内容高度相似。