eric_wyf的专栏

最近遇到一个问题，paoding切词的时候把日语和韩文的部分字符都过滤了。原因是：在用CJKKnife刀时执行该if (CharSet.isCjkUnifiedIdeographs(ch))语句进入到CharSet类中的public static boolean isCjkUnifiedIdeographs(char ch) { return ch >= 0x4E00 &...

关于paoding动态加载词典，网上多数是如下代码，但是我下载了2.0.4的源码后，发现Paoding.java 这个文件时空的，不存在这个方法Paoding paoding = PaodingMaker.make(); paoding.stopAutoDetecting();//关闭自动词典监测，使用手动检测 用paoding.dic.detector.interval...

经过paoding分词后，再对每个token进行2次分词，此处是二元切分法 public class MyCJKFilter extends TokenFilter {    private TermAttribute termAtt = (TermAttribute) addAttribute(TermAttribute.class);;    private OffsetAtt...