1. elasticsearch 学习笔记-基础知识-1

最新推荐文章于 2024-04-26 16:09:51 发布
最新推荐文章于 2024-04-26 16:09:51 发布
阅读量348 收藏
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hukfei/article/details/107818413
版权
本文详细介绍Elasticsearch的使用方法，包括索引创建、映射设置、查询语法及聚合分析等功能，通过具体示例帮助读者掌握数据存储、搜索与分析技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

What is elasticsearch

you can use elasticsearch to store, search and analytics data

office document: https://www.elastic.co/guide/index.html

How to use

Index

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices.html

create index

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html

Example:

  • Uri: localhost:9200/tx

  • Method: PUT

put mapping

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-put-mapping.html

Example:

  • Uri: localhost:9200/tx/_mapping

  • Method: PUT

  • Body:

    • {
    "properties":{
        "time":{
            "type":"date"
        },
        "height":{
            "type":"long"
        },
        "tx_hash":{
            "type":"keyword"
        },
        "from":{
            "type":"keyword"
        },
        "to":{
            "type":"keyword"
        },
        "amount":{
            "type":"nested",
            "properties":{
                "denom":{
                    "type":"keyword"
                },
                "amount":{
                    "type":"double"
                }
            }
        },
        "type":{
            "type":"keyword"
        },
        "fee":{
            "properties":{
                "gas":{
                    "type":"long"
                },
                "amount":{
                    "type":"nested",
                    "properties":{
                        "denom":{
                            "type":"keyword"
                        },
                        "amount":{
                            "type":"double"
                        }
                    }
                }
            }
        },
        "memo":{
            "type":"text",
            "fields":{
                "raw":{
                    "type":"keyword"
                }
            }
        },
        "status":{
            "type":"byte"
        },
        "code":{
            "type":"short"
        },
        "log":{
            "type":"keyword",
            "index":false
        },
        "gas_used":{
            "type":"long"
        },
        "gas_wanted":{
            "type":"long"
        },
        "gas_price":{
            "type":"long"
        },
        "actual_fee":{
            "properties":{
                "denom":{
                    "type":"keyword"
                },
                "amount":{
                    "type":"double"
                }
            }
        },
        "proposal_id":{
            "type":"integer"
        },
        "signers":{
            "type":"nested",
            "properties":{
                "addr_hex":{
                    "type":"keyword"
                },
                "addr_bech32":{
                    "type":"keyword"
                }
            }
        },
        "msgs":{
            "type":"nested",
            "properties":{
                "type":{
                    "type":"keyword"
                },
                "msg":{
                    "properties":{
                        "amount":{
                            "type":"nested",
                            "properties":{
                                "amount":{
                                    "type": "double"
                                }
                            }
                        },
                        "inputs":{
                            "type":"nested",
                            "properties":{
                                "coins":{
                                    "type":"nested",
                                    "properties":{
                                        "amount":{
                                            "type":"double"
                                        }
                                    }
                                }
                            }
                        },
                        "outputs":{
                            "type":"nested",
                            "properties":{
                                "coins":{
                                    "type":"nested",
                                    "properties":{
                                        "amount":{
                                            "type":"double"
                                        }
                                    }
                                }
                            }
                        },
                        "coins":{
                            "type":"nested",
                            "properties":{
                                "amount":{
                                    "type":"double"
                                }
                            }
                        },
                        "delegation":{
                            "properties":{
                                "amount":{
                                    "type":"double"
                                }
                            }
                        },
                        "initial_deposit":{
                            "type":"nested",
                            "properties":{
                                "coins":{
                                    "type":"nested",
                                    "properties":{
                                        "amount":{
                                            "type":"double"
                                        }
                                    }
                                }
                            }
                        }
                    }
                }
            }
        }
    }
}

Note:

  • 同一字段只能由一种确定的类型。例如上述 msg 结构中 amount 字段在 db 中存在 number 和 array 两种类型，当将数据加载到 es 中时，将 number 类型的 amount 重命名为了 mint_token_amount
  • 采用动态映射时，es 中整形的默认类型为 long，如需更改默认类型，需要显示的定义其类型。例如上述 xxx.*.amount 需要定义为 double

QSL

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html

Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries. Think of the Query DSL as an AST (Abstract Syntax Tree) of queries, consisting of two types of clauses:

  • Leaf query clauses

    Leaf query clauses look for a particular value in a particular field, such as the match, term or range queries. These queries can be used by themselves.

  • Compound query clauses

    Compound query clauses wrap other leaf or compound queries and are used to combine multiple queries in a logical fashion (such as the bool or dis_max query), or to alter their behaviour (such as the constant_score query).

Compound

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-bool-query.html

select tx_hash, height, code, type, msgs from xx_table where type="transfer" and (from="iaa1" or "to"="iaa2" or "signer"="iaa3") order by height desc skip 0 limit 10;

Example:

  • Uri: localhost:9200/tx/_search

  • Method: GET

  • Body

    • {
	"from": 0,
	"size": 10,
	"_source": {
		"includes": ["tx_hash", "height", "code", "type", "msgs"]
	},
	"query": {
		"bool": {
			"filter": [
				{
					"term": {
						"type": "Transfer"
					}
				}
			],
			"should": [
				{
					"term": {
						"from": "faa176dd0tgn38grpc8hpxfmwl6sl8jfmknesgawx7"
					}
				},
				{
					"term": {
						"to": "faa176dd0tgn38grpc8hpxfmwl6sl8jfmknesgawx7"
					}
				},
				{
					"term": {
						"signer": "faa176dd0tgn38grpc8hpxfmwl6sl8jfmknesgawx7"
					}
				}
			],
			"minimum_should_match": 1
		}
	},
	"sort": [
		{
			"height": {
				"order": "desc"
			}
		}
	]
}

以上查询包含: 分页, 限定返回字段, 排序

Boolean 包含以下几种语法：

  • must: The clause (query) must appear in matching documents and will contribute to the score.
  • filter: The clause (query) must appear in matching documents. However unlike must the score of the query will be ignored. Filter clauses are executed in filter context, meaning that scoring is ignored and clauses are considered for caching.
  • must_not: The clause (query) must not appear in the matching documents. Clauses are executed in filter context meaning that scoring is ignored and clauses are considered for caching. Because scoring is ignored, a score of 0 for all documents is returned.
  • should: The clause (query) should appear in the matching document. 多个 should 之间是 “或” 的关系，使用 minimum_should_match 可以达到类似 or 查询效果

Leaf query clauses

Term

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/term-level-queries.html

Full text queries

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/full-text-queries.html

Match all

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-match-all-query.html

Nested

document: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-nested-query.html

select tx_hash, height, code, type, msgs from xx_table where msgs.type in ("Delegate", "BeginUnbonding", "BeginRedelegate") and (from="iaa1" or "to"="iaa1" or "signer"="iaa1") order by height desc skip 0 limit 10;

其中 msgs 和 signers 均为 nested (数组对象) 结构，详见：

index mapping

{
    "msgs":{
        "type":"nested",
        "properties":{
            "msg":{
                "properties":{
										// ...
                }
            }
        }
    },
    "signers":{
        "type":"nested",
        "properties":{
            "addr_bech32":{
                "type":"keyword"
            },
            "addr_hex":{
                "type":"keyword"
            }
        }
    }
}

Example:

{
    "from":0,
    "size":10,
    "_source":{
        "includes":[
            "tx_hash",
            "height",
            "code",
            "type",
            "msgs"
        ]
    },
    "query":{
        "bool":{
            "must":[
                {
                    "nested":{
                        "path":"msgs",
                        "query":{
                            "terms":{
                                "msgs.type":[
                                    "Delegate","BeginUnbonding","BeginRedelegate"
                                ]
                            }
                        },
                        "inner_hits":{
                        }
                    }
                }
            ],
            "should":[
                {
                    "nested":{
                        "path":"signers",
                        "query":{
                            "term":{
                                "signers.addr_bech32":"faa12t4gfg502wra9lhtjjvqudq82rrzu2sk5j2l09"
                            }
                        }
                    }
                },
                {
                    "term":{
                        "from":"faa12t4gfg502wra9lhtjjvqudq82rrzu2sk5j2l09"
                    }
                },
                {
                    "term":{
                        "to":"faa12t4gfg502wra9lhtjjvqudq82rrzu2sk5j2l09"
                    }
                }
            ],
            "minimum_should_match":1
        }
    },
    "sort":[
        {
            "height":{
                "order":"desc"
            }
        }
    ]
}

Aggregation

Metrics Aggregation

Docs: aggregations-metrics

Single value metric aggregation

  • avg: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-avg-aggregation.html
  • min: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-min-aggregation.html
  • max: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-max-aggregation.html
  • sum: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-sum-aggregation.html

Multiple value metric aggregation

  • stats: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-stats-aggregation.html
  • percentiles: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-percentile-aggregation.html
Node.js学习笔记--进阶之路
JackieDYH的博客
05-10 2100
简介 Node 是一个软件, 可以脱离浏览器, 独立执行JS文件 Node实现了ECMAScript标准, 所以语言跟JavaScript基本一致 因为想成为全栈开发(前后端都可以的大拿) PHP等语言是阻塞的, 性能不如nodeJS node是事件驱动, 非阻塞的 Node中是大量的, 事件和回调函数 单线程（主线程单线程，后台I/O线程池） 跨平台 (Node软件可以安装在window系统/linux系统/mac系统/等等) 安装Node ...
【Elasticsearch】学习笔记-黑马旅游网实践
2401_84010901的博客
04-19 1058
定义一个，声明查询接口，满足下列要求：Post请求参数：对象，类型为PageResult，包含两个属性Long total：总条数：酒店数据因此，我们在中定义@Autowired// 搜索酒店数据由于篇幅限制，小编在此截出几张知识讲解的图解《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！List);// 4.2.根据品牌名称，获取品牌结果result.put(“城市”, cityList);// 4.3.根据品牌名称，获取品牌结果。
ElasticSearch使用（嵌套查询、嵌套高亮）
FantasticPan的博客
08-12 5926
最近在工作中使用到了ElasticSearch，简单了解一些语法的运用，以此记录，由于项目需求需要使用嵌套查询，所以本文基于嵌套查询来讲，基本查询较为简单，资料也较多，不再赘述
ElasticSearch中的should 用法
Yuli_li的专栏
07-11 1332
其中isMember!=1有两种可能： isMember = 0 或者 isMember不存在。有一个场景需要实现 es_table中 isMember = 1 和 isMember!这种情况需要用到should关键词，同时 跟其他条件 例如注册年在2023 是并列的关系。should包含 两个条件 isMember = 0 或者 isMember不存在。//非会员的筛选改为 不是1的isMember数据。如果直接在外层 达不到理想的想过 should变成外层条件了。
ElasticSearch 中 should 设定优先级
ModStartCMS的博客
01-17 2124
在 Elasticsearch 中，查询时可以使用 should、must 和 must_not 关键字来组合多个查询条件。这些关键字定义了查询条件之间的关系，并决定了查询结果的匹配程度。在 Elasticsearch 中，使用多个 should 查询条件时，可以通过设定优先级来控制查询结果的匹配程度。在上面的查询中，第一个 should 条件的优先级比第二个条件高，因为使用了更高的 boost 值。例如，下面的查询使用了两个 should 条件，第一个条件的优先级比第二个条件高。
Elasticsearch-SQL
马立弘
11-19 693
Elasticsearch-SQL安装 https://github.com/NLPchina/elasticsearch-sql一、基本用法 Visit The elasticsearch-sql web front end: http://localhost:9200/_plugin/sql/Simple query http://localhost:9200/_sql?sql=select *
elasticsearch 介绍、查询及使用（must、should）
pshaoyi的专栏
07-02 7736
创建索引 { "mappings": { "properties": { "id": {"type":"keyword"}, "pname": {"type":"text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word","fields": {"keyword":{"type":"keyword"}}}, "title": {"type":"text", "analyze...
【Elasticsearch】学习笔记-p5（搜索结果处理）(1)
2401_84010865的博客
04-19 667
优点：支持随机翻页缺点：深度分页问题，默认查询上限（from + size）是10000场景：百度、京东、谷歌、淘宝这样的随机翻页搜索优点：没有查询上限（单次查询的size不超过10000）缺点：只能向后逐页查询，不支持随机翻页场景：没有随机翻页需求的搜索，例如手机向下滚动翻页scroll优点：没有查询上限（单次查询的size不超过10000）缺点：会有额外内存消耗，并且搜索结果是非实时的场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用 after search方案。3.高亮。
从零搭建Spring Boot脚手架（7）：Elasticsearch应该独立服务
2301_76238237的博客
04-19 279
学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！最后再分享的一些BATJ等大厂20、21年的面试题，把这些技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，上面只是以图片的形式给大家展示一部分。Mybatis面试专题MySQL面试专题并发编程面试专题《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
elasticsearch DSL查询之should查询
鹏举的博客
06-30 4187
elasticsearch之should查询 should查询在mysql中就好比是or或，但在es中使用should查询必须要和must一起使用才可以，相当于must[should A,should B],中文解释就好比是满足A或者是B条件的数据，如下这一段shoudl语句的大概意思是满足是用户A上传并且permission状态是private { "bool" : { "must" : [ { "bool" : { "should" : [
ElasticSearch---es用should表示or的逻辑
Cyms,BgXmSfXtsj !!!! Battle Each Moment !!!!
09-26 614
should 在使用es时，如果需要用到or逻辑，可以使用should。 minimum_should_match should，可以配合 minimum_should_match 使用。 minimum_should_match是最低匹配度， minimum_should_match为1， 表示should条件中，至少有一项符合。 注意，should和must一起用，should会失效，加上m...
【ES笔记02】ElasticSearch数据库之查询操作（match、must、must_not、should、_source、filter、range、exists、ids、term、terms）
热门推荐
✅ Java 开发工程师，从事 Web 应用程序的研发，擅长 Spring、SpringBoot 等技术。 ✅ 热爱编程，业余时间学习新知识，通过 优快云 记录学习心得和笔记内容。
11-26 1万+
match关键字，相当于mysql数据库中的like查询，match查询的字段如果是text类型，那么text会被分词，match就会匹配分词，查询所有包含分词的doc文档，如果不是text类型的，那就是精确查询。当查询条件有很多个的时候，如果将所有的查询条件都放在请求路径上面，显然不合适，所以ES可以将查询条件放到请求体里面，请求体里面的查询条件需要按照指定的格式，不然ES会解析报错。ids查询，这就相当于mysql数据库中的【in】条件查询，多个条件值查询，但是这里的只能够对。
ElasticSearch语句中must,must_not,should 组合关系
最新发布
苍煜
04-26 3926
在实际应用中，发现当bool中同时使用must和should 没有达到想要的想过，而是只展示了must中的命中数据，所以打算探究一下bool中 三种逻辑关系的组合。上述查询语句只展示了must的结果，没有should中的结果，（我一开始以为是must 和 should 是交集的关系）
【Elasticsearch】 10-DSL语法详解-复合查询bool（must、should、must_not、filter）
程序员小屋
09-17 8530
bool查询是Elasticsearch中的布尔查询，它允许组合多个查询条件以过滤和排序文档。must：所有的查询子句都必须匹配，类似于"AND"操作。should：至少一个查询子句必须匹配，类似于"OR"操作。must_not：查询子句不应该匹配，类似于"NOT"操作。filter：与must相似，但不会影响查询的相关性得分。bool查询内部可以包含多个全文检索和精确查询语法，子查询可以任意顺序出现，可以嵌套多个查询
ElasticSearch中should怎么没用
weixin_43198784的博客
03-29 1773
ElasticSearch中的should怎么不管用呢？ 最近在项目中ElasticSearch中的should不管用呢，于是我就在网上开始查资料了！最终终于知道了，我也是看的别人的博客才知道的。 当使用should查询时，如果同级使用了must或者filter查询，那么should的查询语句就不是或者的意思了,而是有没有都行的含义，就相当于失效了 这时候有两种解决方法 加上"minimum_should_match":1,这样就是should中的内容要匹配上一条 在must中的查询嵌套上一层bool在这
elasticsearch：or操作should及其与must/filter混用的两种实现
qq_32783703的博客
06-24 1813
项目需要，又开始找虐！最近两周，因为项目上的需求，用到了elasticsearch，带着“迎难而上，不懂就学”的精神，开始了又一轮的找虐之旅。   Elastic Search 这两周完成相关功能开发后，感觉整体上elasticsearch其实还是比较容易上手的，不过其中也遇到了一些问题：比如，sql中的or操作或者no操作、添加字段根据term或者match匹配无法得到预期结果、text和keyw...
Elasticsearch中should失效的问题
weixin_53127138的博客
04-21 2122
es中should失效的问题分析以及解决方案
elasticsearch查询语句
哎一入江湖岁月催的专栏
04-27 1034
丰富的查询语句：#match查询 这个会将爬虫二字分开 大小写处理 分词 GET lagou/_search { "query":{ "match":{ "title":"爬虫" } } } #term查询 爬虫二字不处理 不解析字段 GET lagou/_search { "query":{ "term":{ "title":&quot
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值