es的自定义词典和停用词-优快云博客

本文链接：https://blog.youkuaiyun.com/lixiaobai_boke/article/details/149331141

在 Elasticsearch 中，自定义词典是优化分词效果的核心手段，尤其适用于中文或专业领域的文本处理。以下是关于 ES 自定义词典的完整指南：

为什么需要自定义词典？
默认分词不足：
ES 自带的分词器（如 Standard Analyzer）对中文处理效果差（按字拆分），IK 分词器虽支持中文，但默认词库可能缺少特定领域词汇（如 “大模型”“元宇宙”）。
业务需求：
确保专业术语不被拆分（如 “机器学习” 不应拆分为 “机器”“学习”）；
识别品牌名、人名、地名等专有名词；
处理网络热词或缩写（如 “yyds”“内卷”）。
如何配置自定义词典？
以 IK 分词器为例，步骤如下：
步骤 1：创建词典文件
在 ES 安装目录下的 plugins/ik/config 目录中创建自定义词典文件（如 custom/mydict.dic）：
步骤 2：修改配置文件
编辑 plugins/ik/config/IKAnalyzer.cfg.xml，添加自定义词典路径：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">custom/mydic.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">custom/stopwords.dic</entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

路径规则：
使用正斜杠 / 或分号 ; 分隔多个词典；
路径相对于 ik/config 目录（如 custom/mydict.dic 对应实际路径 plugins/ik/config/custom/mydict.dic）
我的myidct.dic自定义词典为：

有限公司
有限责任公司
人工智能
许家印
前首富

步骤 3：重启 ES 并验证

POST http://localhost:9200/_analyze
{
  "analyzer": "ik_smart",
  "text": "中国前首富许家印"
}

结果：

{
    "tokens": [
        {
            "token": "中国",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "前首富",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "许家印",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

去掉mydic.dic里面的内容，重启es，不采用自定义词典后的分词效果如下

{
    "tokens": [
        {
            "token": "中国",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "前",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "首富",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "许",
            "start_offset": 5,
            "end_offset": 6,
            "type": "CN_CHAR",
            "position": 3
        },
        {
            "token": "家",
            "start_offset": 6,
            "end_offset": 7,
            "type": "CN_CHAR",
            "position": 4
        },
        {
            "token": "印",
            "start_offset": 7,
            "end_offset": 8,
            "type": "CN_CHAR",
            "position": 5
        }
    ]
}

-----------------------------------------------手动分割线---------------------------------------------------

在 Elasticsearch 中，自定义词典和停用词是两种功能完全相反的配置，分别用于增强分词精度和过滤冗余信息。以下是核心区别和应用场景：

核心区别对比
示例对比

场景：分析文本 “我爱自然语言处理”
自定义词典配置：

<entry key="ext_dict">custom/nlp.dic</entry>

nlp.dic 内容：

自然语言处理

分词结果：

["我", "爱", "自然语言处理"]  // “自然语言处理”被视为一个整体

停用词配置：

<entry key="ext_stopwords">stopwords.dic</entry>

stopwords.dic 内容：

我
的
了

分词结果：

["爱", "自然", "语言", "处理"]  // “我”被过滤

适用场景