用php实现一个敏感词过滤功能

最新推荐文章于 2021-05-17 08:07:51 发布

weixin_30768661

最新推荐文章于 2021-05-17 08:07:51 发布

阅读量517

点赞数

文章标签： php 后端

原文链接：http://www.cnblogs.com/zenghansen/p/5688995.html

版权

周末空余时间撸了一个敏感词过滤功能，下边记录下实现过程。

敏感词，一方面是你懂的，另一方面是我们自己可能也要过滤一些人身攻击或者广告信息等，具体词库可以google下，有很多。

过滤敏感词，使用简单的循环str_replace是性能很低效的，还会随着词库的增加，性能指数下降，而且简单的替换，不能解决一些不是完全匹配的词。这时候就需要先构建一个字典树(trie)，单纯的字典树占用空间较大，使用Double-Array Trie或者Ternary Search Tree可以在保证性能的同时节省一部分空间，但是敏感词基本不会很多，几千甚至上万个词基本没压力，所以就实现就选择先构建一个字典树，然后逐字做匹配。

代码不多，就贴到这里。

 
    <?php

class SensitiveWordFilter {  private $dict;  private $dictPath;   public function __construct($dictPath)  {  $this->dict = array();  $this->dictPath = $dictPath;  $this->initDict();  }   private function initDict()  {  $handle = fopen($this->dictPath, 'r');  if (!$handle) {  throw new RuntimeException('open dictionary file error.');  }   while (!feof($handle)) {  $word = trim(fgets($handle, 128));   if (empty($word)) {  continue;  }   $uWord = $this->unicodeSplit($word);   $pdict = &$this->dict;   $count = count($uWord);  for ($i = 0; $i < $count; $i++) {  if (!isset($pdict[$uWord[$i]])) {  $pdict[$uWord[$i]] = array();  }  $pdict = &$pdict[$uWord[$i]];  }   $pdict['end'] = true;  }   fclose($handle);  }   public function filter($str, $maxDistance = 5)  {  if ($maxDistance < 1) {