python 两种高效过滤敏感词算法--DFA算法和AC自动机算法

最新推荐文章于 2025-10-22 12:41:02 发布

原创

最新推荐文章于 2025-10-22 12:41:02 发布 · 2.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#算法

本文探讨了两种高效的敏感词过滤算法：DFA和AC自动机。通过实例展示了这两种算法的具体实现和运行效果，对比了它们在处理大规模数据集时的性能。

一道bat面试题：快速替换10亿条标题中的5万个敏感词，有哪些解决思路？
有十亿个标题，存在一个文件中，一行一个标题。有5万个敏感词，存在另一个文件。写一个程序过滤掉所有标题中的所有敏感词，保存到另一个文件中。

1、DFA过滤敏感词算法

在实现文字过滤的算法中，DFA是比较好的实现算法。DFA即Deterministic Finite Automaton，也就是确定有穷自动机。
算法核心是建立了以敏感词为基础的许多敏感词树。

python 实现DFA算法：

# -*- coding:utf-8 -*-

import time
time1=time.time()

import os
os.environ["DJANGO_SETTINGS_MODULE"] = "gwcomments.settings"
curr_dir = os.path.dirname(os.path.abspath(__file__))
wordfilter_path = os.path.join(curr_dir, 'wordfilter.txt')


# DFA算法
class DFAFilter(object):
    def __init__(self):
        self.keyword_chains = {}
        self.delimit = '\x00'

    def add(self, keyword):
        keyword = keyword.lower()
        chars = keyword.strip()
        if not chars:
            return
        level = self.keyword_chains
        for i in range(len(chars)):
            if chars[i] in level:
                level = level[chars[i]]
            else: