本文介绍了如何使用DFA（确定有限状态自动机）来实现高效的文字过滤系统。通过创建DFA树并遍历输入内容，快速判断是否存在违禁词，避免了contains或正则表达式的效率问题。
使用DFA实现文字过滤
Dfa和文字过滤
文字过滤是一般大型网站必不可少的一个功能，而且很多文字类网站更是需要。那么如何设计一个 高效的文字过滤系统就是非常重要的了。
文字过滤需求简要描述：判断集合A中哪些子集属于集合B，拿javaeye来说，如果用户发 表一篇文章（集合A），我们需要判断这篇文章里是否存在一些关键字是属于集合B，B一般来说就是违禁词列表。
看到这里，没有接触过的同学可能会想到contains,正则之类的方法，但是很遗憾，这些 方法都是行不通的。唯一比较好的算法是DFA。
一，DFA简介：
学过编译原理的同学们一定知道，在词法分析阶段将源代码中的文本变成语法的集合就是通过确定有限自动机实现的。但是DFA并不只是词法分析里用到，DFA 的用途非常的广泛，并不局限在计算机领域。
DFA的基本功能是可以通过event和当前的state得到下一个state，即event+state=nextstate,
我们来看一张到处都能找到的状态图：
大写字母是状态，小写字母是动作：我们可以看到S+a=U,U+a=Q,S+b=V等等。一般情况下我们可以用矩阵来表示整个状态转移过程：
－－－－－－－－－－－－－－－
状态/字符 a b
S U V
U Q V
V U Q
Q Q Q
但是表示状态图可以有很多数据结构，上面的矩阵只是一个便于理解的简单例子。而接下来在本文提到的文字过滤系统中会使用另外的数据结构来实现自动 机模型
二，文字过滤
在文字过滤系统中，为了能够应付较高的并发，有一个目标比较重要，就是尽量的减少计算，而
学过编译原理的同学们一定知道，在词法分析阶段将源代码中的文本变成语法的集合就是通过确定有限自动机实现的。但是DFA并不只是词法分析里用到，DFA 的用途非常的广泛，并不局限在计算机领域。
DFA的基本功能是可以通过event和当前的state得到下一个state，即event+state=nextstate,
我们来看一张到处都能找到的状态图：
大写字母是状态，小写字母是动作：我们可以看到S+a=U,U+a=Q,S+b=V等等。一般情况下我们可以用矩阵来表示整个状态转移过程：
－－－－－－－－－－－－－－－
状态/字符 a b
S U V
U Q V
V U Q
Q Q Q
但是表示状态图可以有很多数据结构，上面的矩阵只是一个便于理解的简单例子。而接下来在本文提到的文字过滤系统中会使用另外的数据结构来实现自动 机模型
二，文字过滤
在文字过滤系统中，为了能够应付较高的并发，有一个目标比较重要，就是尽量的减少计算，而
最低0.47元/天 解锁文章
扫一扫
2150
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
