双数组AC自动机

最新推荐文章于 2024-03-04 20:18:08 发布
最新推荐文章于 2024-03-04 20:18:08 发布
阅读量1.6k 收藏
点赞数
分类专栏： Algorithm
双数组AC自动机(doubleArrayTrie)的实现
hit_fantasy的专栏
12-13 4917
按照PPT上的描述写了个最简单的版本，没敢测大数据。 主要是几个表的构建： 首先构建next,base,check表。 根据失效函数的定义：父状态的失效函数输入当前字符，可得出每个状态的失效函数(要转移到的状态) 可以发现每个状态要转移到的状态是一定的，如下图： 所以可以构造一个fail表，由上述三个表来构建。 为了输出方便，又构造了一个output表。 代码如下： #incl
AC 自动机算法 JAVA代码 实现
dream_coke的博客
12-04 3304
AC自动机算法 1、简要概述 ​ 什么是AC自动机算法？ ​ AC自动机算法是一种多模式字符串匹配算法，什么是多模式？从单模式说起，举个kmp算法的例子，单模式就是利用kmp算法验证某个敏感词在一个字符串内是否存在;多模式是说验证多个敏感词在一个字符串内是否存在。如果使用kmp来做的话，依次遍历多个敏感词，每个敏感词使用kmp验证，当敏感词数量很多的时候效率很低，这时候就用到AC自动机算法了。 ​ 为什么AC自动机算法效率高？ ​ 结论：其能在约为O(n) 的时间复杂度内完成对多个敏感词的查找，而且
基于双数组trie树的AC自动机(含JAVA代码讲解)
muyuu的博客
12-06 1319
目录基于双数组trie树的AC自动机构建双数组trie树AC自动机构建trie树构建双数组构建fail和output双数组trie树AC自动机的查询 基于双数组trie树的AC自动机 前面我们已经介绍过 AC自动机 ，但在实际使用当中如果需要构建的词典树特别大，原始版本的AC自动机在做查询时耗时会比较多，而基于双数组trie树的AC自动机恰好能够弥补这一缺陷。 下面我们将基于hankcs实现的 AhoCorasickDoubleArrayTrie 代码来讲解双数组trie树的AC自动机的构建以及查询过程。
中文分词系列（二） 基于双数组Tire树的AC自动机
weixin_33725126的博客
10-21 387
秉着能偷懒就偷懒的精神，关于AC自动机本来不想看的，但是HanLp的源码中用户自定义词典的识别是用的AC自动机实现的。唉～没办法，还是看看吧 AC自动机理论 Aho Corasick自动机，简称AC自动机，要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串...
AC自动机 数组实现
dengpangbu3703的博客
04-07 184
AC自动机的实现原理是KMP + 字典树。 学AC自动机之前要先去学KMP 和 字典树。 第一步先构建一个字典树。 1 void Insert(){ 2 int rt = 1, len = strlen(str); 3 for(int i = 0; i < len; i++){ 4 int id = str[i] - ...
AC 自动机的实现(使用双数组 DoubleArray Trie 树)
Gibson314的博客
08-19 465
关于，有太多的文章在讲述它的原理，讲述者借此来展示自己的算法能力。但其实AC自动机的原理很简单，真正困难的地方在于一个高效的！
双数组AC自动机精PPT学习教案.pptx
10-05
双数组AC自动机是一种高效的字符串搜索算法，常用于文本处理和模式匹配问题。在这个PPT学习教案中，虽然没有直接提到AC自动机，但提到了B-树，这是数据库和文件系统中常用的自平衡查找树数据结构。下面将详细介绍B-...
36丨AC自动机：如何用多模式串匹配实现敏感词过滤功能？1
08-03
AC自动机是一种高效的多模式串匹配算法，主要应用于文本处理中的敏感词过滤、关键词搜索等功能。它的全称为Aho-Corasick算法，由Aho和Corasick在1975年提出。AC自动机在Trie树的基础上进行了扩展，增加了失败指针，...
蓝桥杯 烬寂海之迷 AC自动机 JAVA实现
最新发布
mlfc0422的博客
03-04 483
问题描述：在烬寂海中居住着某种智慧生物。它们的文明发展程度相当于地球上的中世纪,但是它们拥有强大的科技与魔法。一天，王国的法师得到了一段古老的魔法咒文，咒文中似乎隐藏着巨大的能量,但是咒文中有很多相似的字符串片段，法师们相信达些片段与魔法的启动有关。现在，国王决定招募聪明的你，使用你的技术能力来帮助法师们解开这个谜团。现在给你一个字符串S（主串），还有若干个模式串P。你需要统计每一个模式串在主串中出现的次数。输入格式。
AC自动机（数组实现）
qq_44866969的博客
10-29 245
struct acAuto{ int Next[Maxn][26] ; int num[Maxn], fail[Maxn] ; int cnt ; void init(){ memset(Next, 0, sizeof(Next)) ; memset(num, 0, sizeof(num)) ; memset(f...
AC自动机数组写法
qingwen_z的专栏
09-26 1047
const int maxlen=110,kind=26; struct Trie { int nt[maxlen][kind],fail[maxlen],end[maxlen]; int root,L; int newnode() { for(int i=0;i<kind;i++) nt[L][i]=-1; end[L++]=0; return L-1; } void
自然语言处理hanlp------9基于双数组字典树的AC自动机
iterhuiの博客
02-06 1541
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
结合双数组Trie的AC自动机算法
weixin_34381687的博客
04-07 404
　　结合双数组Trie的AC自动机算法是一种相对比较快的词匹配算法，常见于分词系统用于分词，本文准备用伪代码结合实例的形式来讲解一下该匹配算法的实现原理 构建步骤： 　　1.Trie树的构建 首先直观感受一下Trie树： 插入模式串 ball、bat、doll、dork、dorm、do、send、sense之后形成的trie树 trie树分三步：插入（构建）、查找、删除 ...
基于双数组的AC匹配算法学习
choumin的专栏
04-09 4172
基于双数组的AC匹配算法分析0. 前言阅读本文之前，你需要了解KMP算法的原理以及自动机的相关概念。1 AC算法1.1 AC算法简述AC算法是基于有限状态自动机算法，在进行串匹配之前，先对模式串集合进行预处理，得到树形有限自动机，然后只需对文本进行一次扫描，便可以找到所有匹配成功的模式串。 例如以模式串集合P{she, he, her, him, hers, his}为例，构建树形状态转移自动机。
AC自动机板子（指针，数组）
bllsll
06-06 550
输入一些子串 输入母串，看母串中有多少个子串。#include <iostream> #include <cstdio> #include <algorithm> #include <cstring> #include <cmath>using namespace std; const int maxn = 1000000+10; const int n = 26; char y[maxn]; i
AC自动机（数组版） 及其优化
Top_Spirit的博客
02-15 1107
之前很喜欢用链表写AC自动机，觉得很适合自己的理解。一直都没有接触数组的写法。。 然而稍微难一点的AC自动机的题，大佬们都是用数组写的，搞的我也看不懂大佬的思路。。 所以觉得重新学习一下数组的写法，但是收获还是有的，又学习了一些关于AC自动机的小优化。 struct acAuto{ int Next[Maxn][26] ; int num[Maxn], fail[Max...
AC自动机模板（数组实现版）
Jogging_Clown
08-19 1355
BY 九野 做了一道题，用我的那种写法华丽丽的超时了，，无奈学一学数组实现的 #include #include #include #include using namespace std; const int maxnode=250*1000+10000;//maxnode=单词数*单词长度+常数 const int sg_size=26; struct Trie { int ch[ma
序列自动机（数组）
qq_45719639的博客
11-24 264
序列自动机解决的问题 我们先来看一道题，可以帮助我们理解。 问题 对于一个字符串s,询问q次:字符串t是否为s的子序列. 首先我们可以暴力来做，那样的复杂度是n（q*s的长度），如果数据比较小的时候还可以，如果数据范围大的时候这样的办法就行不通了，这时候我们的序列自动机就派上了用场。 思路 我们记录一个位置pos,遍历t,在s中二分查找第一个下标大于pos并且等于t[i]的位置,更新pos，如果找不到直接标记一下即可. 代码 #include<iostream> #include<algo
AC自动机模板（数组+指针）hdu2222
龙崎的专栏
08-20 1431
Online Judge Online Exercise Online Teaching Online Contests Exercise Author F.A.Q Hand In Hand Online Acmers Forum | Discuss Statistical Charts Problem Archive Realtime Judge Statu
python 用pyhanlp实现基于双数组字典树的ac自动机
04-04
AC自动机是一种高效的多模式匹配算法，可用于字符串匹配、关键词过滤等应用场景。PyHanLP是基于Java的HanLP的Python接口，提供了实现AC自动机的功能。 下面是使用PyHanLP实现基于双数组字典树的AC自动机的示例代码： ```python from pyhanlp import * class ACAutomaton: def __init__(self): self.base = [] self.check = [] self.keyword_map = {} def build(self, keyword_list): keyword_map = {} for i, keyword in enumerate(keyword_list): keyword_map[keyword] = i self.keyword_map = keyword_map ac_automaton = JClass('com.hankcs.hanlp.algorithm.ahocorasick.trie.Trie')(keyword_map) ac_automaton.parseText(keyword_list) self.base = ac_automaton.getBase() self.check = ac_automaton.getCheck() def match(self, text): result = [] length = len(text) position = 1 for i in range(length): position = self._match_one_char(text, position) if position == -1: break if self.base[position] != 0: result.append((i - self.base[position] + 1, self.keyword_map[self._get_keyword(position)])) return result def _match_one_char(self, text, position): char = text[position - 1] base = self.base[position] next_position = base + char if position > 1 and self.check[next_position] != position - 1: return self._match_one_char(text, self.check[next_position]) if self.base[next_position] == -1: return -1 return next_position def _get_keyword(self, position): for keyword, index in self.keyword_map.items(): if index == position - self.base[position]: return keyword return None if __name__ == '__main__': keyword_list = ['abc', 'bcd', 'def', 'cde'] text = 'abcdef' ac_automaton = ACAutomaton() ac_automaton.build(keyword_list) result = ac_automaton.match(text) print(result) ``` 在代码中，首先定义了一个ACAutomaton类，用于实现AC自动机的匹配功能。在类的构造函数中，定义了三个成员变量：base、check和keyword_map。其中，base和check数组是AC自动机的核心数据结构，用于存储自动机的状态转移信息；keyword_map用于存储关键词和对应的索引。 在build方法中，利用HanLP提供的Trie类构建AC自动机，并将其转化为base和check数组，存储在对象的成员变量中。此外，还存储了关键词和索引的映射关系。 在match方法中，遍历文本的每个字符，利用base和check数组匹配关键词，并返回匹配结果。其中，每个匹配结果包含两个字段：匹配位置和匹配关键词的索引。 在_match_one_char方法中，实现了AC自动机的状态转移过程。利用base和check数组以及文本的当前位置，计算下一个状态的位置，并判断是否存在匹配。如果存在匹配，则继续向后匹配；否则回溯到上一个状态，并继续匹配。 在_get_keyword方法中，根据状态的位置，查找关键词和索引的映射关系，并返回关键词。 最后，在main函数中，定义了一个关键词列表和一个文本字符串，并使用ACAutomaton类进行匹配。输出匹配结果。 使用PyHanLP实现基于双数组字典树的AC自动机，可以实现高效的多模式匹配，适用于关键词过滤、敏感词检测等应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值