使用字典树实现敏感词过滤

胡浩然

于 2018-05-18 09:29:08 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42226698/article/details/80359702

该项目利用字典树实现敏感词过滤，通过优化采用AC自动机，即在树上应用KMP算法。KMP算法避免了回溯，通过next数组记录最长公共前后缀，提高匹配效率。AC自动机进一步提升在大量敏感词匹配时的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目中需要过滤敏感词，可以使用字典树来构造一个敏感词树，然后在树上对文本内容进行字符串匹配。

@Service
public class SensitiveWordService implements InitializingBean {
    private static Logger logger = LoggerFactory.getLogger(SensitiveWordService.class);
    @Override
    public void afterPropertiesSet() throws Exception{
        try{
            System.out.println(Thread.currentThread().getContextClassLoader());
            InputStream is =Thread.currentThread().getContextClassLoader().getResourceAsStream("SensitiveWord");
            InputStreamReader read = new InputStreamReader(is);
            BufferedReader bufferedReader = new BufferedReader(read);
            String lineTxt;
            while((lineTxt=bufferedReader.readLine())!=null){
                addWord(lineTxt.trim());
                System.out.println(lineTxt.trim());
            }
            read.close();
        }catch (Exception e){
            logger.error("读取敏感词文件失败"+e.getMessage());
        }
    }

    public class TreeNode{
        private boolean end=false;
        private Map<Character,TreeNode> subNodes = new HashMap<Character,TreeNode>();

        public void addSubNode(Character key,TreeNode node){
            subNodes.