Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

最新推荐文章于 2024-08-22 12:01:53 发布

转载

最新推荐文章于 2024-08-22 12:01:53 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/sfshine/blog/1922507

文章标签：

#java #python #人工智能

本文介绍了如何使用Aho Corasick自动机结合Double Array Trie实现高性能的多模式匹配。通过这种结合，可以在分词时达到约27MB/s的速度，150万词的词典构建仅需1801ms。文章详细阐述了构建过程，包括构建trie树、双数组Trie树和AC自动机，以及查询操作如精确匹配、前缀查询和多模式匹配。此外，提供了具体的Java实现和接口设计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

本文使用Double Array Trie实现了一个性能极高的Aho Corasick自动机，应用于分词可以取得1400万字每秒，约合27MB/s的分词速度。其中词典为150万词，构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来，考虑到持久化比较困难（goto和fail表是内存指针/引用），一直没下决心实现，今天终于成功了。

AC自动机能高速完成多模式匹配，然而具体实现聪明与否决定最终性能高低。大部分实现都是一个Map<Character, State>了事，无论是TreeMap的对数复杂度，还是HashMap的巨额空间复杂度与哈希函数的性能消耗，都会降低整体性能。

双数组Trie树能高速O(n)完成单串匹配，并且内存消耗可控，然而软肋在于多模式匹配，如果要匹配多个模式串，必须先实现前缀查询，然后频繁截取文本后缀才可多匹配，这样一份文本要回退扫描多遍，性能极低。

如果能用双数组Trie树表达AC自动机，就能集合两者的优点，得到一种近乎完美的数据结构。在我的Java实现中，我称其为AhoCorasickDoubleArrayTrie，支持泛型和持久化，自己非常喜爱。

原理

预备知识的图解请参考：《Aho-Corasick算法的Java实现与分析》《双数组Trie树(DoubleArrayTrie)Java实现》，请不要在不懂任何一个原理的情况下继续阅读。

基本原理是为一颗双数组Trie树的每个状态（体现为下标）附上额外的信息。在《Aho-Corasick算法的Java实现与分析》我曾经提到过，AC自动机的基础（success表）就是Trie树，只不过比Trie树多了output表和fail表。那么AhoCorasickDoubleArrayTrie的构建原理就是为每个状态（base[i]和check[i]）构建output[i][]和fail[i]。