Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

最新推荐文章于 2025-08-11 16:30:33 发布
转载 最新推荐文章于 2025-08-11 16:30:33 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/hankcs/blog/359789
文章标签：

#java

本文介绍了一种高性能的AhoCorasick自动机实现方式，通过结合DoubleArrayTrie技术，实现了高达586万字/秒的分词速度，适用于大规模文本处理任务。该实现使用150万词条的词典，在1801ms内完成构建。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么80%的码农都做不了架构师？>>>   hot3.png

Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配
本文使用DoubleArrayTrie实现了一个性能极高的Aho Corasick自动机，应用于分词可以取得586万字每秒，约合18MB/s的分词速度。其中词典为150万词，构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来，考虑到持久化比较困难（goto和fail表是内存指针/引用），一直没下决心实现，今天终于成功了。AC自动机能高速完成多模式匹配，然而具体实现聪明与否决定最终性能高低。大部分实现都是一个Map<Character, State>了事，无论是TreeMa...

继续阅读：码农场 » Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

原文链接：http://www.hankcs.com/program/algorithm/aho-corasick-double-array-trie.html

转载于:https://my.oschina.net/hankcs/blog/359789

使用aho-corasick-double-array-trie进行脏字过滤
java_novice_qx的博客
09-27 596
具体来说，它通过构建一个双数组字典树，将所有的模式串存储起来，并且在构建过程中建立了各个节点之间的失败指针，以便在匹配过程中进行跳转。相比于传统的暴力匹配算法，Aho-Corasick 算法能够在线性时间内完成匹配操作，而不会因为模式串的数量增加而导致时间复杂度的大幅增加。这里要做的就是拿到敏感字文件里面的数据，然后对输入的数据进行过滤替换，这里使用了springboot和aho-corasick-double-array-trie库来进行过滤。库的效果取决于所需匹配的模式串数量和主串长度。
AhoCorasickDoubleArrayTrie：基于Double Array Trie的Aho Corasick算法的极快实现
01-30
AhoCorasickDoubleArrayTrie 基于Double Array Trie结构的Aho Corasick算法的极快实现。 它的速度是幼稚实现的5到9倍，也许是迄今为止最快的实现；-) 介绍 您可能听说过Aho-Corasick算法可以快速解析带有巨大词典的文本，例如： 在文本中寻找某些单词以链接或强调它们 向纯文本添加语义 检查字典以查看是否存在语法错误 但是大多数实现使用TreeMap<Character>存储goto结构，这花费O(lg(t))时间， t是单词的公共前缀中最大的数量。 最终复杂度为O(n * lg(t)) ，绝对t > 2 ，所以n * lg(t) > n 。 其他人使用HashMap ，这浪费了太多内存，但仍然保持缓慢。 我通过将XXXMap替换为Double Array Trie XXXMap进行了改进，该Trie的时间复杂度仅为O(1) ，因此我们得到的总复杂度为O(n) ，并在时间和内存之间取得了完美的平衡。 是的，它的速度与字典单词的长度或语言或通用前缀无关。 此实现已在我的软件包中广泛使用。 我希望它可以作为处理文
aho-corasick-node:基于DoubleArray Trie的Aho-Corasick字符串匹配算法的Node实现
05-01
aho-corasick-node 基于DoubleArray Trie的Aho-Corasick字符串匹配算法的Node实现。 安装 npm install aho-corasick-node --save 用法 建造 const AhoCorasick = require ( 'aho-corasick-node' ) ; const keywords = [ 'b' , 'ba' , 'nan' , 'ab' ] ; const builder = AhoCorasick . builder ( ) ; keywords . forEach ( k => builder . add ( k ) ) ; const ac = builder . build ( ) ; 比赛 const text = 'banana' ; const hits = ac . match ( text
ac自动机 匹配最长前缀_Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配
weixin_39840616的博客
12-20 668
本文使用Double Array Trie实现了一个性能极高的Aho Corasick自动机，应用于分词可以取得1400万字每秒，约合27MB/s的分词速度。其中词典为150万词，构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来，考虑到持久化比较困难(goto和fail表是内存指针/引用)，一直没下决心实现，今天终于成功了。AC自动机能高速完成多模式匹配，然而具体实现聪明...
并行Aho-Corasick自动机：高性能多模式匹配算法
Aho-Corasick自动机作为一种经典的模式串匹配工具，在生物特征识别、网络安全等领域有广泛应用，但由于其串行匹配的本质，无法满足大数据环境下对高实时性和高性能的需求。 PARA-AC算法的核心思想是将待匹配的大...
FACA：提高Aho-Corasick自动机多模式匹配效率的算法
FACA算法是在Aho-Corasick自动机的基础上进行优化的，Aho-Corasick自动机是一种高效处理多个模式匹配问题的数据结构，它通过构建Trie树（字典树）来存储模式串，并利用“失败指针”实现一次性扫描文本，找到所有模式...
深入理解Aho-Corasick自动机算法1
08-03
Aho-Corasick自动机算法通过Trie树和失败指针的巧妙结合，解决了多模式匹配的问题，极大地提高了搜索效率。在处理大量模式串的文本匹配任务中，AC自动机是一个不可或缺的工具，它简化了匹配逻辑，降低了时间复杂度。...
AC自动机算法（Aho-Corasick 多模式匹配算法）
08-18
AC自动机算法（Aho-Corasick 多模式匹配算法）C#实现
DAT (Double Array Trie) 多模式匹配算法
weixin_33737134的博客
04-15 541
为什么80%的码农都做不了架构师？>>> ...
Algorithm-AhoCorasickDoubleArrayTrie.zip
09-17
Algorithm-AhoCorasickDoubleArrayTrie.zip,基于双数组trie的aho-corasick算法的快速实现。,算法是为计算机程序高效、彻底地完成任务而创建的一组详细的准则。
ahocorasick:使用Double Array Trie的Aho-Corasick算法的更快，更高效的Golang实现
05-28
Aho–Corasick算法 介绍 Golang中Aho-Corasick算法的更快，更有效的实现，并且支持中文和英文。 为了提高性能并减少内存使用，该程序使用Double Array Trie而不是常用的Linked List Trie 。 在基准测试中， it is 10 times faster than the most popular AC algorithm implement in golang @ github and tenth of its memory usage ， it is 10 times faster than the most popular AC algorithm implement in golang @ github and tenth of its memory usage 。 您可以在基准测试部分中找到更多信息。 该项目的灵感来自 除了使用
AC自动机-2（AhoCorasickDoubleArrayTrie）
xy2006860的专栏
08-22 703
AhoCorasickDoubleArrayTrie的构建可能会消耗大量内存，在实际使用中，可以先在一个大内存的机器上构建好AC DAT，序列化成文件，然后在使用的节点上直接反序列进行试用，正如 hanlp实现中的save和load方法。可以看到，其构建过程首先构造了一个普通的Trie树，然后基于这个普通Trie树构建了DAT，在构建DAT的过程中，也给先前构建好的普通Trie树添加了DAT的索引。, 最后又压缩了DAT了，loseWeight();，实际是一个为尾压缩的方法。
中文分词系列（二） 基于双数组Tire树的AC自动机
weixin_33725126的博客
10-21 393
秉着能偷懒就偷懒的精神，关于AC自动机本来不想看的，但是HanLp的源码中用户自定义词典的识别是用的AC自动机实现的。唉～没办法，还是看看吧 AC自动机理论 Aho Corasick自动机，简称AC自动机，要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串...
Double Array Trie 的Python实现
diaolie2445的博客
05-16 583
不多介绍，可自行Google，或者其它关键词: "datrie" 放代码链接： double_array_trie.py 因为也是一段学习代码，参考的文章都记在里面了，主要参考github项目： komiya-atsushi/darts-java。 另外，增加了一个从某叶子节点回溯得到字符串的方法；没增加删除节点方法的原因是，复杂度较高，且暂时没有必要。 当然，代码正确性和科学性还有待验...
Aho-Corasick 双数组字典树：高效文本处理的利器
gitblog_00029的博客
04-10 447
Aho-Corasick 双数组字典树：高效文本处理的利器 在计算机科学中，Aho-Corasick 算法是一种用于字符串搜索的算法，而 是一个高效的 Python 实现，它利用了双数组字典树（Double Array Trie）数据结构。该项目由 hankcs 开发，旨在提供一种快速、内存效率高的方法，用于在大量文本中查找多个模式。 项目简介 AhoCorasickDoubleArrayTri...
深入双数组Trie（Double-Array Trie）
热门推荐
zhoubl668的专栏：远帆，梦之帆！
11-10 2万+
什么是Double Array Trie Double Array Trie是TRIE树的一种变形，它是在保证TRIE树检索速度的前提下，提高空间利用率而提出的一种数据结构，本质上是一个确定有限自动机(deterministic finite automaton，简称DFA)。 所谓的DFA就是一个能实现状态转移的自动机。对于一个给定的属于该自动机的状态和一个属于该自动机字母表Σ的字符，它
基于双数组trie树的AC自动机(含JAVA代码讲解)
muyuu的博客
12-06 1352
目录基于双数组trie树的AC自动机构建双数组trie树AC自动机构建trie树构建双数组构建fail和output双数组trie树AC自动机的查询 基于双数组trie树的AC自动机 前面我们已经介绍过 AC自动机 ，但在实际使用当中如果需要构建的词典树特别大，原始版本的AC自动机在做查询时耗时会比较多，而基于双数组trie树的AC自动机恰好能够弥补这一缺陷。 下面我们将基于hankcs实现的 AhoCorasickDoubleArrayTrie 代码来讲解双数组trie树的AC自动机的构建以及查询过程。
kmalloc
最新发布
qq_24993025的博客
08-11 895
摘要： kmalloc是Linux内核中用于分配小块连续内存（≤4K）的核心机制，底层依赖slab（小内存）或buddysystem（大内存）。其分配策略为：≤8K从slab分配（预定义kmalloc_caches管理不同尺寸的slab，如8B~8K），>8K则直接调用buddysystem（最大支持4M）。内存地址通过内核启动时已建立线性映射（PA=VA-FixedOffset）。实现上，kmalloc通过编译优化区分常量/非常量请求，最终调用___kmalloc_large_node（buddysyst
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值