ES 分析器

最新推荐文章于 2024-12-18 23:20:20 发布

乌索普大神

最新推荐文章于 2024-12-18 23:20:20 发布

阅读量695

点赞数

CC 4.0 BY-SA版权

分类专栏： Elastic 文章标签： elastic

本文链接：https://blog.youkuaiyun.com/ewteunafsew/article/details/51426810

Elastic 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Elasticsearch中分析器的工作原理，包括Characterfilters、Tokenizer及Tokenfilters三个主要组件的作用。通过示例展示了如何使用标准分析器对文本进行分词处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分析器是三种功能的封装
1. Character filters
  字符会首先被依次送到各种character filters，它们会在tokenization之前整理string，比如去掉html标记、把&转换为and等。
2. Tokenizer
  使用分词器把字符串分割为单独的词
3. Token filters
  被分词器分割出来的词会依次送到过滤器，过滤器可能会对词语进行修改（比如大写转换为小写），移除（例如a、and、the），添加（添加同义词）
测试分析器

GET /_analyze?analyzer=standard
Text to analyze

结果

{
   "tokens": [
      {
         "token":        "text",
         "start_offset": 0,
         "end_offset":   4,
         "type":         "<ALPHANUM>",
         "position":     1
      },
      {
         "token":        "to",
         "start_offset": 5,
         "end_offset":   7,
         "type":         "<ALPHANUM>",
         "position":     2
      },
      {
         "token":        "analyze",
         "start_offset": 8,
         "end_offset":   15,
         "type":         "<ALPHANUM>",
         "position":     3
      }
   ]
}