DFA敏感词过滤算法详解

Java实现DFA算法敏感词过滤 Java实现DFA算法敏感词过滤。 文章目录一. 应用场景二. 实现思路三. 源码实现 一. 应用场景 模拟非法词汇自动替换成*字符,且敏感词汇支持动态调整。 效果如下,若配置了敏感词:今天,则当用户在输入:今天,天气真不错。实际应该输出:** **,天气真不错 ** 二. 实现思路 使用MySQL作为敏感词库 使用DFA算法实现文字过滤 Q:什么是DFA? DFA全称为:Deterministic Finite Automaton,即确定有穷自动机。其特征为:有一个有限状态集合和一些从一个状态通向. 阅读详情
AI摘要

本文介绍DFA算法模型在文本敏感词过滤的应用原理及Java实现。通过构建多层Map的树形结构,实现高效准确地匹配并过滤敏感词。相较于简单的字符串包含判断,DFA算法能提供更灵活的匹配模式,并显著提升性能。

功能简介

DFA算法模型是解决针对一段文本,过滤出其他文本。比如我们定义了三段文本a、b和c为“张三”、“程序员”、“开发”,而在文本d“我的名字叫张三,我是一名刚工作一年的程序员”的内容中,可以发现文本d是包含a和b文本的,这个过程就是DFA算法模型实现的功能。DFA算法的核心是构建出一个模型。

抛出疑问

  1. java中有contain方法进行判断a文本是否包含b文本,为什么不直接用contain进行比较呢?
  2. DFA算法用Java如何构建?
  3. DFA算法性能如何?

算法思想

举个例子,假如我们认为以下是敏感词。

 1. 我是张三
 2. 我是李四
 3. 大王八
 4. 大王来了

然后我们根据上面的敏感词构建出一个模型,该模型实际上是一颗树,或者说是森林。在java代码中实际上是多个map,为了方便观察,我转换成了json。(不完整版本)

    {
   
   
        "我": {
   
   
            "是": {
   
   
                "张": {
   
   
                    "三": {
   
   }
                },
                "李": {
   
   
                    "四": {
   
   }
                }
            }
        },
        "大": {
   
   
            "王": {
   
   
                "来": {
   
   
                    "了": {
   
   }
                },
                "八": {
   
   }
            }
        }
    }

我们通过上面构建的模型对目标文本“我是张三,我是大王”进行敏感词过滤,大致过程如下:

1. 遍历目标文本,获取到第一个字符‘我’,在我们构建的模型的第一层比较,发现第一层的字符串是‘我’和‘大’。
2. 字符‘我’能够在模型中匹配到,继续获取目标文本的下一个字符‘是’,发现第二层也是‘是’,也是匹配上了,依次是‘张’、‘三’。
3. 通过步骤2我们可以断定目标文本中“我是张三”是敏感词,记录下来。
4. 继续获取下一个字符,这里节省时间直接跳到‘大’的字符,发现可以和第一层的‘大’匹配上,然后获取目标文本中的下一个字符‘王’,也能够在模型中匹配上。
5. 这样整个匹配过程完成了,大家可能有疑问,那到底“大王”算不算敏感词呢?如果算,但是我们在定义敏感词的时候并没有“大王”;如果不算,但确实是匹配上了。

为了解决这个问题,我们在构建好的模型中加一个字段就可以解决这种摸棱两可的问题。

{
   
   
        "我": {
   
   
            "isEnd": false,
            "是": 
【实战场景】敏感词过滤如何实现? 首先,需要一个包含所有需要过滤的敏感词的列表或数据库。这个列表可以手动创建,也可以从现有的资源中导入。敏感词库应该定期更新以反映新的敏感词汇。 阅读详情

相关推荐

敏感词管理(DFA算法实现)

我们在完成一些文章发布的功能是,可以使用第三方工具如阿里云的内容安全来进行文章的审核,但是这个第三方接口并不能过滤一些敏感词,因此我们需要自己维护一套关键词

xn_xy19的博客 1385

敏感词或关键词过滤,DFA算法详解及python代码实现

一.前言 近期项目有了一个过滤敏感词的功能需求,在网上找了一些方法及解说,发现DFA算法比较好用,容易实现,但很多文章解释得不太清楚,这里将其详细描述,并用python代码实现. 二.DFA算法详解 DFA,网上常译为确定有限自动机,俗话就是新数据在已有的数据基础上去有限次查找,比如:新数据为苹果公司年会,旧数据为苹果公司,这样就可以直接旧数据后面添加"年会"两个字. DFA算法思想是将敏感词组通过建立嵌套字典的方式去构建敏感词链表(以一个特定字符’\x00’作为结束),然后遍历新词的每个字是否出现在敏感词

qq_38796548的博客 5905

一万字带你了解 sensitive-word 敏感词过滤工具

最近工作中,我遇到了一个需求:对用户评论进行敏感词过滤。于是我开始了疯狂的研究,给我发现了一个非常好用的小工具——sensitive-word!今天就来给大家安利一下

weixin_53216033的博客 2713

Java DFA算法实战:构建高性能敏感词过滤系统

本文详细介绍了如何使用Java DFA算法构建高性能敏感词过滤系统。通过解析DFA算法原理、优化内存占用和设计高并发安全方案,实现毫秒级敏感词匹配。结合Spring Boot集成实践和性能压测数据,展示了DFA算法在UGC内容审核中的显著优势,适用于社交平台、直播弹幕等海量文本处理场景。

weixin_33712987的博客 363

DFA 算法:从理论到实战,构建高性能敏感词过滤系统

本文深入探讨了DFA算法在构建高性能敏感词过滤系统中的应用,从基础理论到实战优化,详细介绍了Trie树构建、高效匹配算法实现及高级优化技巧。通过对比测试,展示了DFA算法在10万词库下的卓越性能,吞吐量可达正则表达式的8-10倍,适用于各类文本过滤场景。

weixin_33726313的博客 709

基于DFA前缀树的Python敏感词检测方案:从原理到工程实践

在内容安全与合规领域,敏感词检测是一项基础且关键的技术。其核心原理是通过高效的字符串匹配算法,在海量用户生成内容中实时识别并处理违规词汇。从技术实现角度看,常见的方案包括简单字符串匹配、正则表达式和基于前缀树(Trie树)的算法。其中,确定有限状态自动机(DFA)优化后的Trie树,凭借其接近O(n)的时间复杂度,成为处理海量词库和高并发场景的首选方案,在性能与准确性之间取得了良好平衡。该技术的核心价值在于为内容平台、社区论坛和即时通讯等应用提供了自主可控、高性能的合规屏障,能有效应对各种变体干扰,并支持热

weixin_30582943的博客 290

Python敏感词过滤DFA算法+免费附带敏感词库

DFA简介参考:https://blog.youkuaiyun.com/chenssy/article/details/26961957 此篇是上述JAVA敏感词过滤的python版本,完整版本,修改版本 首先我们看看最终处理效果 实例1: 输入字符串 处理结果 核心代码: SensitiveFilter类 框架如下 class SensitiveFilter: #初始化 def __in...

weixin_39666736的博客 4772

游戏中敏感词的过滤之DFA算法

游戏中敏感词的过滤之DFA算法 对于一个游戏,如果有聊天功能,那么我们就会希望我们的聊天系统能够对玩家的输入进行判断,如果玩家的输入中含有一些敏感词汇,那么我们就禁止玩家发送聊天,或者把敏感词转换为 * 来替换。 为什么要使用 DFA 算法 设我们已经有了一个敏感词词库(从相关部门获取到的,或者网上找来的),那么我们最容易想到的过滤敏感词的方法就是: 遍历整个敏感词库,拿到敏感词,再判断玩家输入的字符串中是否有该敏感词,如果有就把敏感词字符替换为 * 但这样的方法,我们需要遍历整个敏感词库,并且对玩家输入的

白菊花瓣的博客 2532

SpringBoot项目里用sensitive-word做敏感词过滤,这几点配置和自定义策略你得知道

本文深入探讨了在SpringBoot项目中集成sensitive-word进行敏感词过滤的最佳实践,包括多环境词库加载、动态词库更新、分级脱敏策略等高级配置。通过DFA算法优化和业务场景融合,实现高效、智能的敏感词过滤解决方案,提升内容审核效率与准确性。

weixin_30642869的博客 137

DFA 算法详解

摘要:DFA(确定有限自动机)是一种高效的敏感词过滤算法,其核心是将敏感词构建为Trie树结构,通过状态转移实现快速匹配。相比暴力匹配和KMP算法,DFA在性能上有显著优势。文章详细介绍了DFA的实现原理、Trie节点结构、文本匹配流程以及Java实现示例,并分析了时间复杂度(构建O(n),匹配O(N))。同时指出了原生DFA的不足(如不支持模糊匹配)和常见优化方案(最长匹配、干扰字符处理),最后对比了DFA与AC自动机的适用场景,并列举了实际应用中可能遇到的问题(如大小写敏感、误杀等)。

郭宝的博客 334

啥是PLCnext?它能干啥?

简单来说,PLCnext是基于Linux操作系统的一个控制器运行时,所以它原生具备的两个特点:1.原生兼容IEC611312.原生兼容Linux各类应用PLCnext的控制器大概长下面这样(AXC F 1152、2152),通过背板总线连接IO、通过网口连接Profinet或者上位机。

博客 1650

Ubuntu20.04系统Cuckoo sandbox所需环境搭建及安装(超详细图文)

请勿叫我大神,我只是互联网的搬运工~ 前言 本教程以Ubuntu20桌面版作为示范,服务器版同样适用,但可能稍微麻烦一点,服务器版本的话安装Xmanage套装使用可能会相对轻松一些,由于后面会使用到vbox的使用,对vbox命令行操作不熟悉的小伙伴用xmanage可能会相对轻松一点。 提示:以下是本篇文章正文内容,下面案例可供参考 安装ubuntu20桌面版 步骤1:转到https://ubuntu.com/download/desktop下载下载.iso。 步骤2:使用您选择的虚拟机监控程序(VMWa

ElsonHY的博客 1万+

TexGen模型导出到ABAQUS的inp文件:如何快速修改纱线材料属性(避坑指南)

本文针对TexGen模型导出到ABAQUS的inp文件后纱线材料属性缺失或错误的问题,提供了高效的解决方案。文章详细解析了inp文件结构,指导用户如何手动定位并修改纱线材料属性,并提供了可批量处理的Python脚本,帮助用户快速、精准地完成材料参数赋值,有效提升复合材料仿真工作效率。

ice55的博客 605

手把手教你用SAM模型实现精准图像分割:从环境配置到实战应用

本文详细介绍了如何使用Meta推出的Segment Anything Model(SAM)实现精准图像分割,从环境配置到实战应用的全流程。特别针对电商场景中的商品分割需求,提供了硬件配置、模型下载、API使用及优化策略等实用指南,帮助开发者快速掌握这一强大的深度学习工具。

pepsi的博客 1067

DrawCall、Batches、SetPassCalls的区别和联系

一、DrawCall、Batches、SetPassCalls的基本理解 我们先从图形渲染的角度对这些概念做一个基本的理解。 1.1 DrawCall DrawCall实际上指的是一次图形渲染接口的调用,比如OpenGL的glDrawArrays或者glDrawElements的一次调用,以及DirectX的DrawPrimitive或者DrawIndexedPrimitive。因此,DrawCall可以简单理解为一次渲染指令调用。 1.2 Batches 我们知道,在调用DrawCall之前,需要设置渲染

远行's Blog 6381

告别Keil4!手把手教你用Keil C51 V9.61编译51单片机代码(附最新激活方法)

本文详细介绍了Keil C51 V9.61在51单片机开发中的全栈升级指南,包括编译速度提升、调试器性能优化和现代开发支持等核心优势。通过智能安装方案、项目迁移实战和新特性深度应用,帮助开发者告别Keil4,大幅提升开发效率。附有最新激活方法和实用技巧,适用于嵌入式开发工程师。

weixin_26886855的博客 422

SpringBoot从入门到精通(全)

前言 ==本博文结合软件idea进行主要讲解== **springboot的特性主要有** - 简化 Spring 应用程序的创建和开发过程 - 抛弃了繁琐的 xml 配置过程,采用大量的默认配置简化以及注解反射 - 直接使用 java main 方法启动内嵌的 Tomcat 服务器运行 Spring Boot 程序,不需要部署 war 包文件 **四大核心**分别为自动配置、起步依赖、Actuator和命令行界面

码农研究僧的博客 7万+

数仓建模—数据语义层

如今,企业产生大量数据,需要以正确的方式进行分析才能做出重要决策。数据可能来自多个来源并采用不同的格式,这使得清楚地了解其含义和重要性成为一项挑战。这就是语义层的用武之地。语义层存在于数据仓库和最终用户使用的应用程序之间。它为用户提供了简化且一致的数据视图,无论其基础数据源的复杂性如何。该逻辑层有助于映射物理数据结构以创建概念数据模型。它定义了数据元素之间的所有规则和关系,并以业务术语提供了数据的通用词汇表。然后,用户可以轻松地与数据进行交互,而无需了解其数据源的技术知识。

7万+

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: Activiti常用方法封装
下一篇: springboot实现excel模板数据渲染及导出pdf
像风琢磨不住
博客等级 码龄6年 34粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值