java 中文文本分词

最新推荐文章于 2025-07-22 10:16:00 发布

XnCSD

最新推荐文章于 2025-07-22 10:16:00 发布

阅读量3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Java 中文分词文章标签： java 中文分词

本文链接：https://blog.youkuaiyun.com/XnCSD/article/details/81516032

本文介绍了如何使用classifier4J和IKAnalyzer2012_u6在Java中进行中文分词，强调了自定义词库的创建（exdict.dic，每个词占一行）以及项目依赖（IKAnalyzer2012_u6.jar和pom.xml配置）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java 中文文本分词

本文使用 classifier4J 以及 IKAnalyzer2012_u6 实现中文分词。可以增加自定义词库，词库保存为 “exdict.dic” 文件，一个词一行。

// MyTokenizer.java 文件

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;

import net.sf.classifier4J.ITokenizer;
import org.apache.lucene.analysis.tokenattributes.TermAttribute;
import org.wltea.analyzer.cfg.Configuration;
import org.wltea.analyzer.cfg.DefaultConfig;
import org.wltea.analyzer.dic.Dictionary;
import org.wltea.analyzer.lucene.IKTokenizer;

import org.apache.log4j.LogManager;
import org.apache.log4j.Logger;

/**
 * 中文分词器类
 * 
 * @author CSD
 *
 */
@SuppressWarnings("deprecation")
public class MyTokenizer implements ITokenizer {
   
   

    private static final Logger logger = LogManager.getLogger(MyTokenizer.class);

    private List<String> list;
    p