Elasticsearch改变默认的分词器

最新推荐文章于 2024-03-21 03:17:14 发布
最新推荐文章于 2024-03-21 03:17:14 发布 · 1.1k 阅读 · 3
文章标签：

#Elasticsearch

本文介绍如何在Elasticsearch中配置自定义的分词器，通过修改elasticsearch.yml文件来使用ik分词器替代默认的standard分词器。

ES默认的分词器为standard， 想要改变这个， 可以设置成自定义的analyzer.

 

例，想要改变成配置好的ik分词器， 在config/elasticsearch.yml文件中添加如下配置即可：

 

index.analysis.analyzer.default.type:ik  

 

前提当然是你已经安装了ik分词。

创新实训（43）——ElasticSearch中默认分词器的设置
baidu_41871794的博客
06-26 1271
前言 之前实现了句子的查询，并且将句子进行查询之前，已经分词并且去除了停用词，剩下的很多停用词都是可能与句子的意思之间相关的所以并没有被去掉，这样的句子放入ElasticSearch进行查询时，会被切分，然后查询结果中会有很多不必要出现的停用词，作为关键词出现，初步分数是分词器的问题。 在使用 elasticsearch 进行搜索的时候，经常会发现一篇和搜索关键字完全不匹配的文章排在最前面。它可能就被 ik_max_word 分词后，刚好就有类似 “的” 这样的无意义词，导致造成一篇含有很多无意义词的文章得
Logstash设置ElasticSearch默认分词器
周天祥的博客
07-05 1万+
Logstash设置ElasticSearch默认分词器 ElasticSearch：7.2.0 Logstash：7.2.0 1.定义Logstash模板 2.Logstash配置文件 3.查看执行结果 4.测试 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不...
修改ES默认分词设置
石头视角
08-11 7119
5.0之后不在支持在es配置文件中指定分词方式，需要通过配置的方式去指定，可以借助java api的方式去指定 CreateIndexRequest request = new CreateIndexRequest(indexName); request.settings(Settings.builder() .put("index.number_of...
elasticsearch设置默认分词器和字段指定分词器
热门推荐
WitsMakeMen的专栏
06-29 2万+
PUT news { "settings": { "index.analysis.analyzer.default.type": "ik_max_word" } }, "mappings": { "_doc": { "properties": { "tags": { "type
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 1万+
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
ElasticSearch Analyzer默认分词器、ik分词器、远程词典、停用词（五）
CodingAnHour
05-20 2190
一、名词解释 Analysis：文本分析是把全文本转换一系列单词（trem/token）的过程，也叫分词 Analysis是通过Analyzer来实现的 可以使用es内置分析器，或按需定制化分析器 除了在数据写入时转换词条，匹配query语句时也需要用相同的分析器对查询语句进行分析 分词器时专门处理分词的组件，Analyzer又三部分组成 Character Filters（针对原始文本处理，例如去除HTML） Tokenizer：按照规则切分单词 Token Filter：将切分的单词进
Elasticsearch安装IK分词器，kibana安装是基本使用，DSL语句入门
Java小皮孩
02-28 1万+
3. 安装IK分词器 ElasticSearch 默认采用的分词器， 是单个字分词 ，效果很差 ，所以我们需要安装一个更实用的分词器，这里采用IK分词器 中文分词器 IK Analyzer 3.0 发布 3. 安装 Kibana Kibana是一个针对Elasticsearch的开源分析及可视化平台，使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作，使用Kibana能执行高级的数据分析，并能以图表、表格和地图的形式查看数据。 Kibana 是 ELK 的一个组成。 E：EalsticSea
【ES】--Elasticsearch的分词器深度研究
寻梦友的博客
02-12 2174
分词器是ik_max_word，会将“龙马家书”拆分为“龙马”、“马家”、“家书”。然后filter配置的是edge_ngram_filter，在上面拆分的token词组基础上，按照edge_ngram_filter规则进一步拆分。从结果看：分词器是keyword，filter支持edge_ngram_filter，字符过滤器支持tsconvert【简繁体】。分词器是keyword，表明是不进行分词，但filtet中edge_ngram_filter是按照布长方式拆分token，所以得到如此结果。
Elasticsearch基础篇(五)：创建es索引并学习分析器、过滤器、分词器的作用和配置
后端开发
10-18 1621
本文主要介绍es与mysql的类比来更容易理解es库、索引、文档、字段之间的关系，通过对官方文档和实际创建索引的分析，使得更容易创建满足需求的索引
Elasticsearch中的分词器的基本介绍以及使用
gaoqiandr的博客
01-28 3303
本文主要介绍的是elasticsearch中分词器的基本使用
Elasticsearch 之（12）query string的分词，修改分词器以及自定义分词器
vincent
05-22 5980
query string分词query string必须以和index建立时相同的analyzer进行分词query string对exact value和full text的区别对待 （第10节中详细阐述过）date：exact value_all：full text比如我们有一个document，其中有一个field，包含的value是：hello you and me，建立倒排索引我们要搜索...
（6）elasticsearch的分词器
bluede2015的博客
04-29 1551
elasticsearch的分词器
es ik 分词 5.x后，设置默认分词
weixin_34283445的博客
05-14 221
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux 安装Elasticsearch和配置ik分词器步骤
beyondLi71的博客
11-16 1万+
今天给同学们带来的是关于Elasticsearch的简单介绍以及如何在linux中搭建elasticsearch和增添ik分词器，本篇文章我们以搭建elasticsearch为主，后续的文章中将会将es与springboot结合，将其添加到实际开发中。 1.Elasticsearch简介 1.1什么是Elasticsearch Elasticsearch是一个分布式可扩展的实
Elasticsearch连续剧之分词器
狮子也疯狂的博客
01-16 1万+
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!前面两种分词器，各有优点，但是他们的功能确实不够完备，比如使用ik分词器可以对中文进行分词，但是却不能对拼音分词；所以在现实开发中，我们一般使用自定义分词器进行分词，这样既可以对文字分词，也可以对拼音分词，现在咱们来研究一下如何写一个ik+pinyin分词器。
ES:修改分词器以及定制自己的分词器
标题
11-02 9413
1、默认的分词器 standard standard tokenizer：以单词边界进行切分 standard token filter：什么都不做 lowercase token filter：将所有字母转换为小写 stop token filer（默认被禁用）：移除停用词，比如a the it等等 2、修改分词器的设置 PUT /my_index { "settings": { "...
Elasticsearch 设置默认值的三种方式，2024年Java春招面试经历
m0_60732644的博客
03-21 1061
小编也是很有感触，如果一直都是在中小公司，没有接触过大型的互联网架构设计的话，只靠自己看书去提升可能一辈子都很难达到高级架构师的技术和认知高度。向厉害的人去学习是最有效减少时间摸索、精力浪费的方式。我们选择的这个行业就一直要持续的学习，又很吃青春饭。虽然大家可能经常见到说程序员年薪几十万，但这样的人毕竟不是大部份，要么是有名校光环，要么是在阿里华为这样的大企业。年龄一大，更有可能被裁。送给每一位想学习Java小伙伴，用来提升自己。
ES7基础篇-06-分词器介绍
Alan0517
11-07 1787
索引中的映射类型，也就是每一个字段都有一个类型，比如：long，text，date等。 这和我们的数据库非常的相似，那么它的不同之处是什么呢？就是全文索引，在ES当中，，那么会引出ES中一个非常重要的概念，文本分析器（Text analysis）。; 它可以将一句话、一篇文章切分成不同的词语，每个词语都是独立的。假如你在ES索引中添加了一条记录the quick brown fox jumps，而用户搜索时输入的内容是quick fox，并没有完全匹配的内容，但是因为有了分词器，你索引的内容被切分成了不同的
如何修改Elasticsearch的默认分词器？
最新发布
01-10
在Elasticsearch中，你可以通过修改`analysis`部分的配置来改变默认的分词器。分词器定义了如何将文本分割成单词。以下是如何在`elasticsearch.yml`或`settings.json`文件中进行修改的基本步骤： 1. 打开配置文件：找到`path/to/elasticsearch/config/elasticsearch.yml`或`path/to/elasticsearch/config/settings.json`。 2. 寻找`analysis`部分：这个部分包含了所有关于分析器、分词器和分析过滤器的配置。 3. 修改`analyzer`配置：`analyzer`是一个包含多种处理步骤的复合组件，它通常包括一个分词器。例如，如果你想替换默认的`standard` analyzer，可以创建一个新的 analyzer，并指定新的`tokenizer`： ```yaml analysis: analyzers: custom_tokenizer_analyzer: tokenizer: my_custom_tokenizer ``` 4. 创建新分词器（如果需要）：在`tokenizers`部分定义你的自定义分词器，如`pattern`、`nGram` 或 `custom` 分词器： ```yaml analysis: tokenizers: my_custom_tokenizer: type: pattern patterns: "[\\p{L}\\p{M}\\p{N}]+" ``` 5. 更新索引模板：如果你希望更改所有新建索引的默认分析器，可以在`index_patterns`下面设置新的默认 analyzer： ```yaml index_patterns: - your_index_name: analysis: analyzer: custom_tokenizer_analyzer ``` 6. 验证并重启服务：保存配置文件后，你需要重启Elasticsearch以应用新的配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值