elasticsearch插件 ik分词器使用以及扩展ik词典

return_a_bug

于 2020-12-14 09:41:59 发布

阅读量625

点赞数

分类专栏： elasticsearch

本文链接：https://blog.youkuaiyun.com/m0_50064085/article/details/111149683

版权

本文介绍了如何下载并安装Elasticsearch的ik分词器插件，比较了ik_smart和ik_max_word两种模式的分词效果。重点讲述了如何扩展ik词典，通过创建自定义词典`nju.dic`，添加‘学软件’等词汇，实现对特定词汇的精确分词。经过配置和重启服务，验证了自定义词典的效果，成功将‘学软件’分词出来。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载

从github-ik下载插件代码包，解压到elasticsearch的plugin目录下，然后重启服务。

ik_smart和ik_max_word

ik_smart为最小切分，ik_max_word为最细粒度切分，区别在于把ik_smart的结果全部拼接起来还是原词组，而ik_max_word不是（可能会有字重复）。

ik_smart

使用kibana打开console输入：

GET _analyze
{
   
  "analyzer": "ik_smart",
  "text": ["南京大学软件学院"]
}

执行可以看到:

{
   
  "tokens" : [
    {
   
      "token" : "南京大学",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
   
      "token" : "软件",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
   
      "token" : "学院",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    }

最低0.47元/天解锁文章