eric_wyf的专栏

最近遇到一个问题，paoding切词的时候把日语和韩文的部分字符都过滤了。 原因是： 在用CJKKnife刀时执行该if (CharSet.isCjkUnifiedIdeographs(ch))语句进入到 CharSet类中的 public static boolean isCjkUnifiedIdeographs(char ch) { return ch >= 0x4E00 &...

关于paoding动态加载词典，网上多数是如下代码，但是我下载了2.0.4的源码后，发现Paoding.java 这个文件时空的，不存在这个方法 Paoding paoding = PaodingMaker.make(); paoding.stopAutoDetecting();//关闭自动词典监测，使用手动检测   用 paoding.dic.detector.interval ...

经过paoding分词后，再对每个token进行2次分词，此处是二元切分法   public class MyCJKFilter extends TokenFilter {     private TermAttribute termAtt = (TermAttribute) addAttribute(TermAttribute.class);;     private OffsetAtt...