03--elasticsearch基本操作_es includelower-优快云博客

本文链接：https://blog.youkuaiyun.com/wangyongxun1983/article/details/113094540

创建索引

numberofshards 分片数量每个索引产生多少个分片在集群中，最好平均分布，不宜过多也不能少，如果单机的就没有必要设置很多了 1 个就可以了，这个后期是不能改的
numberofreplicas 副本数量为了高可用
refresh_interval 数据能够刷新时间默认是 1s

查询索引信息：

http://localhost:9200/user

删除索引：

创建文档

POST http://127.0.0.1:9200/user/hello/_mapping

{
    "hello": {
            "properties": {
                "id":{
                	"type":"long",
                	"store":true
                },
                "title":{
                	"type":"text",
                	"store":true,
                	"index":true,
                	"analyzer":"standard"
                },
                "content":{
                	"type":"text",
                	"store":true,
                	"index":true,
                	"analyzer":"standard"
                }
            }
        }
  }

修改文档

POST localhost:9200/blog1/hello/1

{
	"id":1,
	"title":"【修改】ElasticSearch是一个基于Lucene的搜索服务器",
	"content":"【修改】它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
}

删除文档document

DELETE localhost:9200/blog1/article/1

查询文档-根据id查询

GET localhost:9200/blog1/hello/1

路由

ES 中的数据时如何确定要写入那个分片（shard）中的？

shard = hash(routing) % numberofprimary_shards 路由字段进行 hash 然后对分片数量取余操作这又回答了另一个问题 - 索引中分片数量确认好之后就不能更改了！

试想如果这个路由值我们自己制定，那么我们就知道我们这条数据存储在哪个分片中了，相应的我们在查找的时候就能直接定位分片，不需要搜索每一个分片了。

这就是路由的好处，能够直接确定你路由的数据在哪个分片中，不需要在所有分片中查找数据了

我们来看一个实例：

POST localhost:9200/blog1/hello?routing = 10

{
	"id": 10,
	"name": "huizi3",
	"birthday": 1566027813714,
	"cat": "c1",
	"cat1": "b2",
	"remark": "我爱中华人民共和国"
}

没路由值的返回

在这里插入图片描述

有路由值的返回

在这里插入图片描述

图我们可以验证上方的想法：有路由值会直接定位到某一个分片中箭头处 total=1 ,没有路由的返回 total=10

那有朋友会问性能能提高多少？我测试的千万级数据，4 台物理机 10 个分片，有路由和无路由大约相差 3-4 背的差距，当然这个跟你的服务器你的数据都有很大关系，制作参考。

还有朋友要问如果我需要多个路由字段怎么办，那没办法，你只能想办法映射成一个。同样 Redis Cluster 的 hash 槽也有这个问题，如果想把一些相同特征的数据路由到同一个槽中怎么办？它给出了 hashtag 这样一个概念比如： 0000{11}9999 这种写法就只使用 11 去做 hash。哎，你说这操作骚不骚，这样就能把有相同特征的数据映射到同一个 hash 槽了。

那么我们怎么做？举个栗子用户和订单的场景，我们一般查询会按照用户查询或者按照订单查询，我们按照谁去路由呢？可以这样做，我们生成的订单号中固定位置包含用户 id 的一部分信息。比如用户 id = 12345678 , 我们生成的订单号可以这样 xxxxxx78xx , 把用户号的后两位放到订单的某个固定位置，这样我们存储的时候，从订单号中拿到那固定的 2 位来做路由值。这样我们根据用户和订单都能拿到路由值了。

那么又会有朋友问了，这样你一个用户的数据都路由到一个分片上，是不是会产生不均匀呢？那！是！肯！定！的！哪有绝对公平的事情呢？

QueryString 查询语法

基本语法： this AND that AND thus OR (a AND b AND c)

直接使用？查询 GET /user/type1/_search?q=id:10&routing=10

GET localhost:9200/blog1/hello/_search?q = id:10&routing = 10

使用 json 查询

GET localhost:9200/blog1/hello/_search

{
    "query": {
        "query_string": {
            "default_field": "title",
            "query": "搜索服务器"
        }
    }
}

常用查询：

说明	样例
字段包含查询	status:active
组合查询	title:(quick OR brown)
短语精确查询	author:"John Smith"
字段是否存在	exists:title
通配符查询	bro*
正则查询（慎用极慢）	name:/joh?n(ath[oa]n)/
日期范围	date:[2012-01-01 TO 2012-12-31]
数字范围	count:[1 TO 5]
数字范围 >=10	count:[10 TO *]
日期范围<2012	date:{* TO 2012-01-01}
年龄大于10	age:>10

范围中 [] 标识闭区间即包含， {} 标识开区间即不包含

基本上认识这些常用的查询基本的查询工作都能胜任了。

聚合

GET localhost:9200/blog1/hello/_search

{
	"from": 0, //分页起始位置  
	"size": 0, //分页大小  一般聚合分组不取原始数据  
	"query": {
		"query_string": {
			"default_field": "*",
			"query": "*" // 查询条件  就是sql 中的 where    
		}
	},
	"aggs": { // 聚合开始    
		"t1": { //第一层聚合  这是一个标识， 再返回的时候有用  
			"terms": {
				"field": "cat1",/// 使用term 分组， 如果字段是text类型的 需要加 .keyword 分组  
				"size": 10,///分组后取多少数据
				"order": {
					"_count": "asc"//按什么排序，这个计数的有_count , 如果 MAX 则有  _max 值排序，其他相似
				}
			},
			"aggs": { /// 第二层聚合        
				"t2": {
					"terms": {
						"field": "cat",
						"size": 10
					}
				}
			}
		}
	}
}

这个聚合就类似但不完全是 select * from user where 1=1 group by cat, cat1 order by xxx

从上边我们看到 ES 的查询基于 json 的格式，相当的繁琐又不好记忆，基本都需要去官网查询 API 才能会写，那么 ES 有没有类 SQL 的引擎呢？

SQL 查询演示

ES 也一直在尝试引入 SQL , 估计由于过于繁琐的原因从版本 5 开始就引入的试验性功能，一直到 6.7 才算毕业成为正式功能，可以应用于生产。 https://www.elastic.co/guide/en/elasticsearch/reference/6.8/sql-syntax-select.html

会 SQL 的欧能看懂哈SELECT select_expr [, ...][ FROM table_name ][ WHERE condition ][ GROUP BY grouping_element [, ...] ][ HAVING condition][ ORDER BY expression [ ASC | DESC ] [, ...] ][ LIMIT [ count ] ]

基本查询POST /_xpack/sql?format=txt{ "query": "select * from user"}

在这里插入图片描述

where 条件查询POST /_xpack/sql?format=txt{ "query": "select * from user t where t.cat1='b2'"}

SQL 引擎执行其实是将 SQL 语句转换成 ES 可识别的 JSON 然后进行查询，因此官方也提供了翻译 API

POST /_xpack/sql/translate

{
	"query": "select cat1 from user t where birthday > 'now-1y' group by cat1 "
}

{
	"size": 0,
	"query": {
		"range": {
			"birthday": {
				"from": "now-1y",
				"to": null,
				"include_lower": false,
				"include_upper": false,
				"boost": 1.0
			}
		}
	},
	"_source": false,
	"stored_fields": "_none_",
	"aggregations": {
		"groupby": {
			"composite": {
				"size": 1000,
				"sources": [{
					"221": {
						"terms": {
							"field": "cat1",
							"missing_bucket": true,
							"order": "asc"
						}
					}
				}]
			}
		}
	}
}

来一个官网的超级例子

SELECT MIN(salary) AS min, MAX(salary) AS max, MAX(salary) - MIN(salary) AS diff FROM emp GROUP BY languages HAVING diff - max % min > 0 AND AVG(salary) > 30000;

POST /_xpack/sql/translate