3、文件哈希与模式匹配技术解析

文件哈希与模式匹配技术解析

1. 文件哈希

在处理文件时，为了高效地找出重复文件，我们可以采用哈希的方法。传统的方法是将每个文件与其他所有文件进行比较，但这种方法的时间复杂度较高。我们可以通过哈希函数为每个文件生成一个短标识符，然后只比较具有相同标识符的文件。

假设文件被均匀地分成 $g$ 组，每组大约有 $N/g$ 个文件，那么总的工作量大约为 $O(g(N/g)^2)$，简化后为 $N^2/g$。因此，随着分组数量的增加，整体运行时间应该会减少。

我们可以使用一个简单的哈希函数来为文件生成哈希码，例如将文件中的字节相加并取模：

def naive_hash(data):
    return sum(data) % 13

以下是一个简单的测试，计算单词 “hashing” 不同子串的哈希码：

example = bytes("hashing", "utf-8")
for i in range(1, len(example) + 1):
    substring = example[:i]
    hash = naive_hash(substring)
    print(f"{hash:2} {substring}")

为了更严格地测试这个哈希函数，我们对小说《德古拉》的每一行文本进行哈希处理，并绘制哈希码的分布。结果发现，大部分桶的高度大致相同，但在零处有一个峰值。经过分析，发现这是因为文本文件使用空行分隔段落，这些空行的哈希值为零，