中文分词算法

最新推荐文章于 2022-04-17 14:01:02 发布
最新推荐文章于 2022-04-17 14:01:02 发布
阅读量1.9k 收藏
点赞数
文章标签： 算法 function hex c class 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/webajax/article/details/4381503
版权

/*******************************
//织梦分词算法 www.dedecms.com
//作者：IT柏拉图 QQ：2500875
//本程式公提供测试用，不包含岐义处理和词语标注的功能
//不过默认的情况是有载入标注词典的，有需要可自行加入
//本程式词典由织梦组织整理，严禁用于商业用途
********************************/
class SplitWord
{
var $TagDic = Array();
var $RankDic = Array();
var $OneNameDic = Array();
var $TwoNameDic = Array();
var $SourceString = ;
var $ResultString = ;
var $SplitChar =  ; //分隔符
var $SplitLen = 4; //保留词长度
var $EspecialChar = "和|的|是";
var $NewWordLimit = "在|的|与|或|就|你|我|他|她|有|了|是|其|能|对|地";

//这里可以按需要加入常用的量词，
//程序会检测词语第一个字是否为这些词和上一个词是否为数词，然后结合为单词
var $CommonUnit = "年|月|日|时|分|秒|点|元|百|千|万|亿|位|辆";

var $CnNumber = "％|＋|－|０|１|２|３|４|５|６|７|８|９|．";
var $CnSgNum = "一|二|三|四|五|六|七|八|九|十|百|千|万|亿|数";
var $MaxLen = 13; //词典最大 7 中文字，这里的数值为字节数组的最大索引
var $MinLen = 3;  //最小 2 中文字，这里的数值为字节数组的最大索引
var $CnTwoName = "端木 南宫 谯笪 轩辕 令狐 钟离 闾丘 长孙 鲜于 宇文 司徒 司空 上官 欧阳 公孙 西门 东门 左丘 东郭 呼延 慕容 司马 夏侯 诸葛 东方 赫连 皇甫 尉迟 申屠";
var $CnOneName = "赵钱孙李周吴郑王冯陈褚卫蒋沈韩杨朱秦尤许何吕施张孔曹严华金魏陶姜戚谢邹喻柏水窦章云苏潘葛奚范彭郎鲁韦昌马苗凤花方俞任袁柳酆鲍史唐费廉岑薛雷贺倪汤滕殷罗毕郝邬安常乐于时傅皮卡齐康伍余元卜顾孟平黄穆萧尹姚邵堪汪祁毛禹狄米贝明臧计伏成戴谈宋茅庞熊纪舒屈项祝董粱杜阮蓝闵席季麻强贾路娄危江童颜郭梅盛林刁钟徐邱骆高夏蔡田樊胡凌霍虞万支柯咎管卢莫经房裘缪干解应宗宣丁贲邓郁单杭洪包诸左石崔吉钮龚程嵇邢滑裴陆荣翁荀羊於惠甄魏加封芮羿储靳汲邴糜松井段富巫乌焦巴弓牧隗谷车侯宓蓬全郗班仰秋仲伊宫宁仇栾暴甘钭厉戎祖武符刘姜詹束龙叶幸司韶郜黎蓟薄印宿白怀蒲台从鄂索咸籍赖卓蔺屠蒙池乔阴郁胥能苍双闻莘党翟谭贡劳逄姬申扶堵冉宰郦雍郤璩桑桂濮牛寿通边扈燕冀郏浦尚农温别庄晏柴翟阎充慕连茹习宦艾鱼容向古易慎戈廖庚终暨居衡步都耿满弘匡国文寇广禄阙东殴殳沃利蔚越夔隆师巩厍聂晁勾敖融冷訾辛阚那简饶空曾沙须丰巢关蒯相查后江游竺";
  
  //――――――――――――――――――――――――――――――
  //php4构造函数
  //――――――――――――――――――――――――――――――
  function SplitWord(){
   $this->__construct();
  }
  //――――――――――――――――――――――――――――――
  //php5构造函数
  //――――――――――――――――――――――――――――――
  function __construct(){     
   //载入姓氏词典
   for($i=0;$i<strlen($this->CnOneName);$i++)
   {
   $this->OneNameDic[$this->CnOneName[$i].$this->CnOneName[$i+1]] = 1;
   $i++;
   }
   $twoname = explode(" ",$this->CnTwoName);
   foreach($twoname as $n){ $this->TwoNameDic[$n] = 1; }
   unset($twoname);
   unset($this->CnOneName);
   unset($this->CnTwoName
 //――――――――――――――――――――――――――
  //析放资源
  //――――――――――――――――――――――――――
  function Clear()
  {
   @fclose($this->QuickDic);
  }
  
  //――――――――――――――――――――――――――――
  //设置源字符串
  //――――――――――――――――――――――――――――
  function SetSource($str){
   $this->SourceString = trim($this->ReviseString($str));
   $this->ResultString = "";
  }
  
  //――――――――――――――――――――――――――――-
  //检查字符串是否不存在中文
  //――――――――――――――――――――――――――――-
  function NotGBK($str)
  {
    if($str=="") return "";
    //因为粗分的时候已经处理,因此不必要检查所的字符
   if( ord($str[0])>0x80 ) return false;
   else return true;
  }
  //――――――――――――――――――――――――――――-
  //RMM分词算法
  //――――――――――――――――――――――――――――-
  function SplitRMM($str=""){
   if($str!="") $this->SetSource(trim($str));
   if($this->SourceString=="") return "";
   //对文本进行粗分
   $this->SourceString = $this->ReviseString($this->SourceString);
   //对特定文本进行分离
   $spwords = explode(" ",$this->SourceString);
   $spLen = count($spwords);
   $spc = $this->SplitChar;
   for($i=($spLen-1);$i>=0;$i――){
   if(trim($spwords[$i])=="") continue;
   if($this->NotGBK($spwords[$i])){
   if(ereg("[^0-9/./+/-]",$spwords[$i]))
   { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
   else
   {
   $nextword = "";
   @$nextword = substr($this->ResultString,0,strpos($this->ResultString," "));
   if(ereg("^".$this->CommonUnit,$nextword)){
   $this->ResultString = $spwords[$i].$this->ResultString;
   }else{
   $this->ResultString = $spwords[$i].$spc.$this->ResultString;
   }
   }
   }
   else
   {
     $c = $spwords[$i][0].$spwords[$i][1];
     $n = hexdec(bin2hex($c));
     if($c=="《") //书名
     { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
     else if($n>0xA13F && $n < 0xAA40) //标点符号
     { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
     else //正常短句
     {
      if(strlen($spwords[$i]) <= $this->SplitLen)
      {
      //如果结束符为特殊分割词，分离处理
      if(ereg($this->EspecialChar."$",$spwords[$i],$regs)){
      $spwords[$i] = ereg_replace($regs[0]."$","",$spwords[$i]).$spc.$regs[0];
      }
      //是否为常用单位
      if(!ereg("^".$this->CommonUnit,$spwords[$i]) || $i==0){
      $this->ResultString = $spwords[$i].$spc.$this->ResultString;
      }else{
      $this->ResultString = $spwords[$i-1].$spwords[$i].$spc.$this->ResultString; 
      $i――;
      }
      }
      else
      { 
      $this->ResultString = $this->RunRMM($spwords[$i]).$spc.$this->ResultString;
      }
     }
     }
   }
   return $this->ResultString;
  }
  //对全中文字符串进行逆向匹配方式分解
  function RunRMM($str)
  {
   $spc = $this->SplitChar;
   $spLen = strlen($str);
   $rsStr = "";
   $okWord = "";
   $tmpWord = "";
   $WordArray = Array();
   //逆向字典匹配
   for($i=($spLen-1);$i>=0;)
   {
   //当i达到最小可能词的时候
   if($i<=$this->MinLen){
   if($i==1){
     $WordArray[] = substr($str,0,2);
     //echo "Min 1： ".substr($str,0,2)."<br>";
     }else
   {
      $w = substr($str,0,$this->MinLen+1);
      if($this->IsWord($w)){
       $WordArray[] = $w;                                                                                  
      }else{
      $WordArray[] = substr($str,2,2);
      $WordArray[] = substr($str,0,2);
      //echo "Min 2-2： ".substr($str,0,2).substr($str,2,2)."<br&


//
  //进行名字识别和其它数词识别
  //
  function ParOther($WordArray)
  {
   $wlen = count($WordArray)-1;
   $rsStr = "";
   $spc = $this->SplitChar;
   for($i=$wlen;$i>=0;$i――)
   {

   //数量词
   if(ereg($this->CnSgNum,$WordArray[$i])){
   $rsStr .= $spc.$WordArray[$i];
   if($i>0 && ereg("^".$this->CommonUnit,$WordArray[$i-1]))
   { $rsStr .= $WordArray[$i-1]; $i――; }
   else{
   while($i>0 && ereg($this->CnSgNum,$WordArray[$i-1]))
   { $rsStr .= $WordArray[$i-1]; $i――; }
   }
   continue;
   }
   //双字姓
   if(strlen($WordArray[$i])==4 && isset($this->TwoNameDic[$WordArray[$i]]))
   {
   $rsStr .= $spc.$WordArray[$i];
   if($i>0&&strlen($WordArray[$i-1])==2){
   $rsStr .= $WordArray[$i-1];$i――;
   if($i>0&&strlen($WordArray[$i-1])==2){ $rsStr .= $WordArray[$i-1];$i――; }
   }
   }
   //单字姓
   else if(strlen($WordArray[$i])==2 && isset($this->OneNameDic[$WordArray[$i]]))
   {
   $rsStr .= $spc.$WordArray[$i];
   if($i>0&&strlen($WordArray[$i-1])==2){
    $rsStr .= $WordArray[$i-1];$i――;
    if($i>0 && strlen($WordArray[$i-1])==2){ $rsStr .= $WordArray[$i-1];$i――; }
   }
   }
   //普通词汇
   else{
   $rsStr .= $spc.$WordArray[$i];
   }
   }
   //返回本段分词结果
   $rsStr = preg_replace("/^".$spc."/","",$rsStr);
   return $rsStr;
  }
  //――――――――――――――――――――――――――――――――-
  //判断词典里是否存在某个词
  //――――――――――――――――――――――――――――――――-
  function IsWord($okWord){
   $slen = strlen($okWord);
   if($slen > $this->MaxLen) return false;
   else return isset($this->RankDic[$slen][$okWord]);
  }
  //――――――――――――――――――――――――――――――
  //整理字符串（对标点符号，中英文混排等初步处理）
  //――――――――――――――――――――――――――――――
  function ReviseString($str)
  {
   $spc = $this->SplitChar;
    $slen = strlen($str);
    if($slen==0) return ;
    $okstr = ;
    $prechar = 0; // 0-空白 1-英文 2-中文 3-符号
    for($i=0;$i<$slen;$i++){
      if(ord($str[$i]) < 0x81)
      {
        //英文的空白符号
        if(ord($str[$i]) < 33){
          if($prechar!=0&&$str[$i]!="/r"&&$str[$i]!="/n") $okstr .= $spc;
          $prechar=0;
          continue; 
        }else if(ereg("[^0-9a-zA-Z@/.%#:///&_-]",$str[$i]))
        {
          if($prechar==0)
          { $okstr .= $str[$i]; $prechar=3;}
          else
          { $okstr .= $spc.$str[$i]; $prechar=3;}
        }else
        {
         if($prechar==2||$prechar==3)
         { $okstr .= $spc.$str[$i]; $prechar=1;}
         else
         { 
           if(ereg("@#%:",$str[$i])){ $okstr .= $str[$i]; $prechar=3; }
           else { $okstr .= $str[$i]; $prechar=1; }
         }
        }
      }
      else{
        //如果上一个字符为非中文和非空格，则加一个空格
        if($prechar!=0 && $prechar!=2) $okstr .= $spc;
        //如果中文字符
        if(isset($str[$i+1])){
          $c = $str[$i].$str[$i+1];
          
          if(ereg($this->CnNumber,$c))
          { $okstr .= $this->GetAlabNum($c); $prechar = 2; $i++; continue; }
          
          $n = hexdec(bin2hex($c));
          if($n>0xA13F && $n < 0xAA40)
          {
            if($c=="《"){
             if($prechar!=0) $okstr .= $spc." 《"

 

//――――――――――――――――――――――――――――――
  //整理字符串（对标点符号，中英文混排等初步处理）
  //――――――――――――――――――――――――――――――
  function ReviseString($str)
  {
   $spc = $this->SplitChar;
    $slen = strlen($str);
    if($slen==0) return ;
    $okstr = ;
    $prechar = 0; // 0-空白 1-英文 2-中文 3-符号
    for($i=0;$i<$slen;$i++){
      if(ord($str[$i]) < 0x81)
      {
        //英文的空白符号
        if(ord($str[$i]) < 33){
          if($prechar!=0&&$str[$i]!="/r"&&$str[$i]!="/n") $okstr .= $spc;
          $prechar=0;
          continue; 
        }else if(ereg("[^0-9a-zA-Z@/.%#:///&_-]",$str[$i]))
        {
          if($prechar==0)
          { $okstr .= $str[$i]; $prechar=3;}
          else
          { $okstr .= $spc.$str[$i]; $prechar=3;}
        }else
        {
         if($prechar==2||$prechar==3)
         { $okstr .= $spc.$str[$i]; $prechar=1;}
         else
         { 
           if(ereg("@#%:",$str[$i])){ $okstr .= $str[$i]; $prechar=3; }
           else { $okstr .= $str[$i]; $prechar=1; }
         }
        }
      }
      else{
        //如果上一个字符为非中文和非空格，则加一个空格
        if($prechar!=0 && $prechar!=2) $okstr .= $spc;
        //如果中文字符
        if(isset($str[$i+1])){
          $c = $str[$i].$str[$i+1];
          
          if(ereg($this->CnNumber,$c))
          { $okstr .= $this->GetAlabNum($c); $prechar = 2; $i++; continue; }
          
          $n = hexdec(bin2hex($c));
          if($n>0xA13F && $n < 0xAA40)
          {
            if($c=="《"){
             if($prechar!=0) $okstr .= $spc." 《";
             else $okstr .= " 《";
             $prechar = 2;
            }
            else if($c=="》"){
             $okstr .= "》 ";
             $prechar = 3;
            }
            else{
             if($prechar!=0) $okstr .= $spc.$c;
             else $okstr .= $c;
             $prechar = 3; 
            }
          }
          else{
            $okstr .= $c;
            $prechar = 2;
          }
          $i++;
        }
      }//中文字符
    }//结束循环
    return $okstr;
  }
  //――――――――――――――――――――――――――――――――――――――――-
//尝试识别新词，字符串参数为已经分词处理的串
//――――――――――――――――――――――――――――――――――――――――
  function FindNewWord($spwords,$maxlen=6)
  {
    $okstr = ;
    $ws = explode( ,$spwords);
    $newword = ;
    $nws = ;
    foreach($ws as $w)
    {
      $w = trim($w);
      if(strlen($w)==2 && !preg_match("/[0-9a-zA-Z]/",$w) && !preg_match("/".$this->NewWordLimit."/",$w) )
      { $newword .=&

 

//――――――――――――――――――――――――――
  //析放资源
  //――――――――――――――――――――――――――
  function Clear()
  {
   @fclose($this->QuickDic);
  }
  
  //――――――――――――――――――――――――――――
  //设置源字符串
  //――――――――――――――――――――――――――――
  function SetSource($str){
   $this->SourceString = trim($this->ReviseString($str));
   $this->ResultString = "";
  }
  
  //――――――――――――――――――――――――――――-
  //检查字符串是否不存在中文
  //――――――――――――――――――――――――――――-
  function NotGBK($str)
  {
    if($str=="") return "";
    //因为粗分的时候已经处理,因此不必要检查所的字符
   if( ord($str[0])>0x80 ) return false;
   else return true;
  }
  //――――――――――――――――――――――――――――-
  //RMM分词算法
  //――――――――――――――――――――――――――――-
  function SplitRMM($str=""){
   if($str!="") $this->SetSource(trim($str));
   if($this->SourceString=="") return "";
   //对文本进行粗分
   $this->SourceString = $this->ReviseString($this->SourceString);
   //对特定文本进行分离
   $spwords = explode(" ",$this->SourceString);
   $spLen = count($spwords);
   $spc = $this->SplitChar;
   for($i=($spLen-1);$i>=0;$i――){
   if(trim($spwords[$i])=="") continue;
   if($this->NotGBK($spwords[$i])){
   if(ereg("[^0-9/./+/-]",$spwords[$i]))
   { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
   else
   {
   $nextword = "";
   @$nextword = substr($this->ResultString,0,strpos($this->ResultString," "));
   if(ereg("^".$this->CommonUnit,$nextword)){
   $this->ResultString = $spwords[$i].$this->ResultString;
   }else{
   $this->ResultString = $spwords[$i].$spc.$this->ResultString;
   }
   }
   }
   else
   {
     $c = $spwords[$i][0].$spwords[$i][1];
     $n = hexdec(bin2hex($c));
     if($c=="《") //书名
     { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
     else if($n>0xA13F && $n < 0xAA40) //标点符号
     { $this->ResultString = $spwords[$i].$spc.$this->ResultString; }
     else //正常短句
     {
      if(strlen($spwords[$i]) <= $this->SplitLen)
      {
      //如果结束符为特殊分割词，分离处理
      if(ereg($this->EspecialChar."$",$spwords[$i],$regs)){
      $spwords[$i] = ereg_replace($regs[0]."$","",$spwords[$i]).$spc.$regs[0];
      }
      //是否为常用单位
      if(!ereg("^".$this->CommonUnit,$spwords[$i]) || $i==0){
      $this->ResultString = $spwords[$i].$spc.$this->ResultString;
      }else{
      $this->ResultString = $spwords[$i-1].$spwords[$i].$spc.$this->ResultString; 
      $i――;
      }
      }
      else
      { 
      $this->ResultString = $this->RunRMM($spwords[$i]).$spc.$this->ResultString;
      }
     }
     }
   }
   return $this->ResultString;
  }

 

//对全中文字符串进行逆向匹配方式分解
  function RunRMM($str)
  {
   $spc = $this->SplitChar;
   $spLen = strlen($str);
   $rsStr = "";
   $okWord = "";
   $tmpWord = "";
   $WordArray = Array();
   //逆向字典匹配
   for($i=($spLen-1);$i>=0;)
   {
   //当i达到最小可能词的时候
   if($i<=$this->MinLen){
   if($i==1){
     $WordArray[] = substr($str,0,2);
     //echo "Min 1： ".substr($str,0,2)."<br>";
     }else
   {
      $w = substr($str,0,$this->MinLen+1);
      if($this->IsWord($w)){
       $WordArray[] = $w;                                                                                  
      }else{
      $WordArray[] = substr($str,2,2);
      $WordArray[] = substr($str,0,2);
      //echo "Min 2-2： ".substr($str,0,2).substr($str,2,2)."<br>";
      }
     }
   $i = -1; break;
   }
   //分析在最小词以上时的情况
   if($i>=$this->MaxLen) $maxPos = $this->MaxLen;
   else $maxPos = $i;
   $isMatch = false;
   for($j=$maxPos;$j>=0;$j=$j-2){
    $w = substr($str,$i-$j,$j+1);
    if($this->IsWord($w)){
     $WordArray[] = $w;
     //echo "EG： ".$w." $str $i $j<br>";
     $i = $i-$j-1;
     $isMatch = true;
     break;
    }
   }
   if(!$isMatch){
   if($i>1) {
   $WordArray[] = $str[$i-1].$str[$i];
   //echo "NOT EG： ".$w."<br>";
   $i = $i-2;
   }
   }
   }//End For
   $rsStr = $this->ParOther($WordArray);
   return $rsStr;
  }

 

//
  //进行名字识别和其它数词识别
  //
  function ParOther($WordArray)
  {
   $wlen = count($WordArray)-1;
   $rsStr = "";
   $spc = $this->SplitChar;
   for($i=$wlen;$i>=0;$i――)
   {

   //数量词
   if(ereg($this->CnSgNum,$WordArray[$i])){
   $rsStr .= $spc.$WordArray[$i];
   if($i>0 && ereg("^".$this->CommonUnit,$WordArray[$i-1]))
   { $rsStr .= $WordArray[$i-1]; $i――; }
   else{
   while($i>0 && ereg($this->CnSgNum,$WordArray[$i-1]))
   { $rsStr .= $WordArray[$i-1]; $i――; }
   }
   continue;
   }
   //双字姓
   if(strlen($WordArray[$i])==4 && isset($this->TwoNameDic[$WordArray[$i]]))
   {
   $rsStr .= $spc.$WordArray[$i];
   if($i>0&&strlen($WordArray[$i-1])==2){
   $rsStr .= $WordArray[$i-1];$i――;
   if($i>0&&strlen($WordArray[$i-1])==2){ $rsStr .= $WordArray[$i-1];$i――; }
   }
   }
   //单字姓
   else if(strlen($WordArray[$i])==2 && isset($this->OneNameDic[$WordArray[$i]]))
   {
   $rsStr .= $spc.$WordArray[$i];
   if($i>0&&strlen($WordArray[$i-1])==2){
    $rsStr .= $WordArray[$i-1];$i――;
    if($i>0 && strlen($WordArray[$i-1])==2){ $rsStr .= $WordArray[$i-1];$i――; }
   }
   }
   //普通词汇
   else{
   $rsStr .= $spc.$WordArray[$i];
   }
   }
   //返回本段分词结果
   $rsStr = preg_replace("/^".$spc."/","",$rsStr);
   return $rsStr;
  }


//――――――――――――――――――――――――――――――――-
  //判断词典里是否存在某个词
  //――――――――――――――――――――――――――――――――-
  function IsWord($okWord){
   $slen = strlen($okWord);
   if($slen > $this->MaxLen) return false;
   else return isset($this->RankDic[$slen][$okWord]);
  }
  //――――――――――――――――――――――――――――――
  //整理字符串（对标点符号，中英文混排等初步处理）
  //――――――――――――――――――――――――――――――
  function ReviseString($str)
  {
   $spc = $this->SplitChar;
    $slen = strlen($str);
    if($slen==0) return ;
    $okstr = ;
    $prechar = 0; // 0-空白 1-英文 2-中文 3-符号
    for($i=0;$i<$slen;$i++){
      if(ord($str[$i]) < 0x81)
      {
        //英文的空白符号
        if(ord($str[$i]) < 33){
          if($prechar!=0&&$str[$i]!="/r"&&$str[$i]!="/n") $okstr .= $spc;
          $prechar=0;
          continue; 
        }else if(ereg("[^0-9a-zA-Z@/.%#:///&_-]",$str[$i]))
        {
          if($prechar==0)
          { $okstr .= $str[$i]; $prechar=3;}
          else
          { $okstr .= $spc.$str[$i]; $prechar=3;}
        }else
        {
         if($prechar==2||$prechar==3)
         { $okstr .= $spc.$str[$i]; $prechar=1;}
         else
         { 
           if(ereg("@#%:",$str[$i])){ $okstr .= $str[$i]; $prechar=3; }
           else { $okstr .= $str[$i]; $prechar=1; }
         }
        }
      }
      else{
        //如果上一个字符为非中文和非空格，则加一个空格
        if($prechar!=0 && $prechar!=2) $okstr .= $spc;
        //如果中文字符
        if(isset($str[$i+1])){
          $c = $str[$i].$str[$i+1];
          
          if(ereg($this->CnNumber,$c))
          { $okstr .= $this->GetAlabNum($c); $prechar = 2; $i++; continue; }
          
          $n = hexdec(bin2hex($c));
          if($n>0xA13F && $n < 0xAA40)
          {
            if($c=="《"){
             if($prechar!=0) $okstr .= $spc." 《";
             else $okstr .= " 《";
             $prechar = 2;
            }
            else if($c=="》"){
             $okstr .= "》 ";
             $prechar = 3;
            }
            else{
             if($prechar!=0) $okstr .= $spc.$c;
             else $okstr .= $c;
             $prechar = 3; 
            }
          }
          else{
            $okstr .= $c;
            $prechar = 2;
          }
          $i++;
        }
      }//中文字符
    }//结束循环
    return $okstr;

  }


//――――――――――――――――――――――――――――――――――――――――-
//尝试识别新词，字符串参数为已经分词处理的串
//――――――――――――――――――――――――――――――――――――――――
  function FindNewWord($spwords,$maxlen=6)
  {
    $okstr = ;
    $ws = explode( ,$spwords);
    $newword = ;
    $nws = ;
    foreach($ws as $w)
    {
      $w = trim($w);
      if(strlen($w)==2 && !preg_match("/[0-9a-zA-Z]/",$w) && !preg_match("/".$this->NewWordLimit."/",$w) )
      { $newword .= " ".$w;}
      else
      {
        if($newword!="")
        {
          $nw = str_replace( ,,$newword);
          if(strlen($nw)>2)
          {
            if(strlen($nw) <= $maxlen){ $okstr .=  .$nw; $nws[$nw] = 0; }
            else $okstr .=  .$newword;
          }
          else
          { $okstr .=  .$newword; }
          $newword = ;
        }
        $okstr .=  .$w;
      }
    }
    if($newword!="") $okstr .= $newword;
    $okstr = preg_replace("/ {1,}/"," ",$okstr);
    if(is_array($nws))
    {
      $this->m_nws = $nws;
      foreach($nws as $k=>$w)
      {
        $w = "";
        for($i=0;$i<strlen($k);$i++){
          if( ord($k[$i]) > 0x80 ){
            $w .= " ".$k[$i];
            if(isset($k[$i+1])){ $w .= $k[$i+1]; $i++;}
          }
          else
            $w .= " ".$k[$i];
          $w .= " ";
        }
        $w = preg_replace("/ {1,}/"," ",$w);
        $okstr = str_replace($w," ".$k." ",$okstr);
        $okstr = str_replace($k." "," ".$k." ",$okstr);
        $okstr = str_replace(" ".$k," ".$k." ",$okstr);
      }
    }
    return $okstr;
  }

 

//――――――――――――――――――――――――――――――――――――――――――――――
  //除去字串中的重复词，生成索引字符串，字符串参数为已经分词处理的串
  //――――――――――――――――――――――――――――――――――――――――――――――――――
  function GetIndexText($okstr,$ilen=-1)
  {
    if($okstr=="") return "";
    $ws = explode(" ",$okstr);
    $okstr = "";
    $wks = "";
    foreach($ws as $w)
    {
      $w = trim($w);
      //排除小于2的字符
      if(strlen($w)<2) continue;
      //排除数字或日期
      if(!ereg("[^0-9:-]",$w)) continue;
      if(strlen($w)==2&&ord($w[0])>0x80) continue;
      if(isset($wks[$w])) $wks[$w]++;
      else $wks[$w] = 1;
    }
    if(is_array($wks))
    {
      arsort($wks);
      if($ilen==-1)
      { foreach($wks as $w=>$v) $okstr .= $w." "; }
      else
      {
        foreach($wks as $w=>$v){
          if((strlen($okstr)+strlen($w)+1)<$ilen) $okstr .= $w." ";
          else break;
        }
      }
    }
    return trim($okstr);
  }

  //
  //把全角数字转为半角数字
  //
  function GetAlabNum($fnum)
  {
  $nums = array("０","１","２","３","４","５","６","７","８","９","＋","－","％","．");
  $fnums = "0123456789+-%.";
  for($i=0;$i<count($nums);$i++){
   if($nums[$i]==$fnum) return $fnums[$i];
  }
  return $fnum;
  }
}//End Class

 

webajax
关注
中文分词算法-百度面试题
TO TOP CODER
06-15 2586
题目： 给定一个字符串， 一个数组，判断这个字符串能否被分隔成字典里的一个个单词。用动态规划算法 我面试时写的是下面的代码 public static boolean divied2(String s,String[] dict){ boolean result=false; if(s.length()==0) return true
php 分词搜索 splitword
qq_36028348的博客
12-06 515
/*分词效果*/ /* 修改_START */ include_once('includes/lib_splitword_full.php'); $kkk = trim($_REQUEST['keywords']); $kkk_upper = strtoupper($kkk); //判断是否符合商家搜索 ...
算法题目 - 简单分词 - Python
Growth Diary
07-29 1630
1、每行代表一条记录 2、记录内的字段用逗号分隔 3、若字段内存在逗号，则用双引号包围整个字段 4、若字段内存在双引号，则在双引号前加一个双引号作为转义符，同时用双引号包围整个字段
机器学习算法原理与编程实现中文文本分词1
yanink的博客
04-20 1516
1 先安装lxml库   E:\机器学习项目\机器学习\MLBook\chapter02>pip install lxml-3.7.3-cp27-none-win_amd64.whl 2 执行测试程序   E:\机器学习项目\机器学习\MLBook\chapter02>python html2txt_test.py    3 测试中出现编码转化错误，修改代码最后一
中文分词实践（基于R语言）
weixin_33696106的博客
05-19 182
    背景：分析用户在世界杯期间讨论最多的话题。     思路：把用户关于世界杯的帖子拉下来。然后做中文分词+词频统计，最后将统计结果简单做个标签云。效果例如以下：          兴许：中文分词是中文信息处理的基础。分词之后。事实上还有特别多有趣的文本挖掘工作能够做。也是个知识发现的过程，以后有机会再学习下。 =======================...
Rust中的 中文分词算法MMSEG_rust_代码_下载
06-12
在 Rust 语言中实现中文分词算法，MMSEG（MaxMatch Segmentation）是一个常见的选择。MMSEG 是一种高效的中文分词方法，由廖雪峰在 2005 年提出，它基于最大匹配法，旨在提高分词的准确性和效率。在 Rust 中，我们...
三种中文分词算法优劣比较.docx
09-22
本文将详细探讨三种常见的中文分词算法：基于字符串匹配的分词、基于理解的分词和基于统计的分词，分析它们的优缺点。 1. 基于字符串匹配的分词： 这种方法通过建立一个电子词典，将输入的文本与词典中的词汇进行...
正向最大匹配中文分词算法
12-17
但不管实现如何，目前而言的分词系统绝大多数都是基于中文词典的匹配算法。其中最为常见的是最大匹配算法 (Maximum Matching，以下简称MM算法) 。MM算法有三种：一种正向最大匹配，一种逆向最大匹配和双向匹配。本...
中文分词-基于BERT实现的中文分词算法-附项目源码+流程教程-优质项目实战.zip
最新发布
04-19
随着深度学习技术的发展，基于BERT（Bidirectional Encoder Representations from Transformers）的中文分词算法以其优越的性能逐渐成为研究和应用的热点。 BERT是一种基于Transformer的预训练模型，它通过双向上...
中文分词算法python代码_中文分词算法之最大正向匹配算法（Python版）
weixin_35615475的博客
02-05 1278
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。实例：S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "字典中...
简单的php分词类库.zip
07-11
不需要安装扩展，自带字典，使用方法简单 采用很多人熟知的scws，另一个是IT柏拉图做的phpanalysis 使用方法请参考index.php文件示例
IK分词源代码分析学习——总体流程
Scroll5165的博客
11-22 320
IK正向迭代最细粒度切分算法流程 一、IK分词初始化 初始化最主要的工作就是读入词典，并将这些词放入内存字典树 1.main2012.dic(关键词)2.quantifier.dic(量词)3.stopword.dic(停用词)4.ext.dic(扩展词,可选) http://blog.youkuaiyun.com/iamaboyy/article/details/75...
中文分词算法介绍
guixunlong的专栏
05-23 4149
1. 最大匹配法 (正向/逆向) 正向/逆向匹配法思想一样，只是一个从左向右切分，另一个从右向左切分，这里拿逆向匹配法举例子： 输入例句：S1=”计算语言学课程有意思” ； 定义：最大词长MaxLen = 5；S2= ” “；分隔符 = “/”； 假设存在词表：…，计算语言学，课程，意思，…； 最大逆向匹配分词算法过程如下： 　（1）S2=”"；S1不为空，从S1右边取出候选子串W=”
网页前端常用的小函数汇总，分页啦，中文截取啦，文件写入啦，啥的
电商/游戏/数据采集/数据统计
03-25 239
&lt;?php if( !defined('CORE') ) exit('Request Error!'); /** * 实用函数集合 * * 替代lib_common * * @author itprato&lt;2500875@qq&gt; * @version $Id$ */ class util { public static $cl...
文本处理算法_第四天：文本处理流程——分词
weixin_39607474的博客
11-20 850
分词工具的使用我们在前一篇文章中介绍过文本处理流程，主要包括分词、文本预处理(无用标签、特殊符号、停用词、大写转小写)、标准化、特征提取、建模、系统评估。今天我们介绍在自然语言处理(NLP)中的文本处理流程中的第一个环节：分词处理。以下是我们分词常用的库，具体如图所示：其中我们用的最多的中文分词就是Jieba分词工具。我们直接可以在黑屏终端安装；直接按win+R打开黑屏终端；如图所示：并且在其终端...
【Python学习笔记】使用jieba分词，输出字符长度大于2词组成的列表（计算机二级题目）
一个甜甜的大橙子的博客
04-17 2280
计算机二级jieba分词题目学习。
HMM算法分词训练及测试过程
cuipanguo的博客
08-27 2481
首先是训练，HMM的训练只是对有标签的数据进行了统计处理。 1. StatusSet为状态矩阵，状态值集合为(B, M, E, S): {B:begin, M:middle, E:end, S:single}。 2. 统计每个句子的开头的BMES的概率是多少，这样就得到初始矩阵InitStatus，就好比有100个句子，其中第一个字是B的个数为30，M的个数为0，E的个数为0，S的个数为70...
RMM分词算法
GeekPHPer
07-22 1122
//RMM分词算法 class SplitWord{ var $TagDic = Array(); var $RankDic = Array(); var $SourceStr = ''; var $ResultStr = ''; var $SplitChar = ' '; //分隔符 var $SplitLen = 4; //保留词长度
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值