Java肖帝的博客

假如：有一个电商网站，需要为其基于ES构建一个后台系统，提供一下功能：　１.对商品信息进行CRUD（增删改查）操作 添加格式： PUT /index/type/id { "json数据" ｝１.１新增商品，新增文档，建立索引 PUT /ecommerce/product/1 PUT/索引/类型/id { "n...

1、query string search　　搜索全部：GET /index/type/_search　　结果剖析："took" : 14, 耗时几毫秒 "timed_out" : false, 是否超时，这里没有超时 "_shards" : {　　 "total" : 5, 数据

课程大纲1、_source元数据插入数据 put /test_index/test_type/1 { "test_field1": "test field1", "test_field2": "test field2" }获取数据get /test_i

员工信息姓名年龄职位国家入职日期薪水1、maven依赖 org.elasticsearch.client transport 5.2.2 org.apache.logging.log4j log4j-api 2.7 org.apache.logging.log4j log4j-core 2.7log...

SearchResponse response = client.prepareSearch(“index1”, “index2”).setTypes(“type1”, “type2”).setQuery(QueryBuilders.termQuery(“multi”, “test”)) // Query.setPostFilter(QueryBuilders...

在Windows上安装和启动Elastic Search1、安装JDK，至少1.8.0_73以上版本，java -version2、下载和解压缩Elasticsearch安装包，官网：https://www.elastic.co/cn/downloads3、启动Elasticsearch：bin\elasticsearch.bat，es本身特点之一就是开箱即用，如果是中小型应用，数据量少，操...

集群健康检查，文档CRUD1、document数据格式面向文档的搜索分析引擎（1）应用系统的数据结构都是面向对象的，复杂的（2）对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当麻烦（3）ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文检索，分析聚合等功能（4）es的do...

聚合分析（group by + avg + sort）第一个分析需求：计算每个tag下的商品数量GET /ecommerce/product/_search{“aggs”: {“group_by_tags”: {“terms”: { “field”: “tags” }}}}将文本field的fielddata属性设置为truePUT /ecommerce/_mapping/p...

1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制（我们之前随随便便就将一些document插入到es集群中去了，我们有没有care过数据怎么进行分片的，数据到哪个shard中去）cluster discovery（集群发现机制，我们之前在做那个集群status从yellow转gr...

1、shard&replica机制再次梳理（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的repli...

（1）replica shard分配：3个primary shard，3个replica shard，1 node（2）primary —> replica同步（3）读请求：primary/replica

（1）consistency，one（primary shard），all（all shard），quorum（default）我们在发送任何一个增删改操作的时候，比如说put /index/type/id，都可以带上一个consistency参数，指明我们想要的写一致性是什么？put /index/type/id?consistency=quorumone：要求我们这个写操作，只要有一个p...

master选举，replica容错，数据恢复（1）9 shard，3 node（2）master node宕机，自动master选举，red（3）replica容错：新master将replica提升为primary shard，yellow（4）重启宕机node，master copy replica到该node，使用原有的shard并同步宕机后的修改，green...

（1）往es里面直接插入数据，es会自动建立索引，同时建立type以及对应的mapping（2）mapping中就自动定义了每个field的数据类型（3）不同的数据类型（比如说text和date），可能有的是exact value，有的是full text（4）exact value，在建立倒排索引的时候，分词的时候，是将整个值一起作为一个关键词建立到倒排索引中的；full text，会经历...

1.演示基于_version进行乐观锁并发控制　1.1 先构造出一条数据来PUT /test_index/test_type/12{ "tset_field":"test test"}　1.2 开启俩个客户端，获取数据 GET /test_index/test_type/12　　　　1.3 其中一个客户端修改数据（同时带上数据的版本号，要求，es中的数据版本号，跟客户端中的数...

ElasticSearch默认采用分词器，单个分词器，效果很差搜索【IK Analyzer3.0】相关介绍：开源中国： http://www.oschina.net/news/2660　　　　　　阿里云： https://www.aliyun.com/jiaocheng/337819.html　Lucene的IK分词器早在2012年已经没有维护了，现在我们要使用的是在其基础上维护升级的...

1.版本要求，JDK1.8_73以上版本，Java -version2.下载和解压ElasticSearch安装包官网下载：https://www.elastic.co/downloads/elasticsearch3.启动ElasticSearch：bin\elasticsearch.bat4.检查ES是否启动成功：http://localhost:9200/?pretty5....

1.手动指定id　业务：根据应用情况来说： 是否满足手动指定的document id的前提　格式：PUT /index/type/id　例：PUT /test_index/test_type/3　　{ 　　"test_content":"my test"　　}图：2.自动生成id　介绍：自动生成的id，长度为20个字符，URL安全，base64编码，GUID，分布式系统...

1.批量查询的好处　　假如一条一条的查询，需要查询100条数据，那么就需要发送100次网络请求，这个开销还是非常大的，此时如果似乎用批量查询，查询100条数据，就只用发送1次网络请求，网络请求的性能开销缩减了100倍2.maget语法　GET单独查询　　GET test_index/test_type/1　　GET test_index/test_type/2 此时如果查询多条，网...

1.bulk语法格式：　注意： bulk api对json的语法，有严格的要求，每个json串不能换行，只能放在一行，多个类型的json串之间，必须换行POST /_bulk {"delete":{"索引名称":"索引值","类型名称":"类型值&qu

格式：{QUERY_NAME: {ARGUMENT: VALUE,ARGUMENT: VALUE,…}}示例：GET /test_index/test_type/_search{“query”: {“match”: {“test_field”: “test”}}}如果组合多个搜索条件{“took”: 1,“timed_out”: false,“_shard...

filter与query示例PUT /company/employee/2{“address”: {“country”: “china”,“province”: “jiangsu”,“city”: “nanjing”},“name”: “tom”,“age”: 30,“join_date”: “2016-01-01”}PUT /company/employee/3{“a...

1.1Elastic Search是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文检索引擎，基于RESTful web接口。Elastic search是用Java开发的，并作为Apache许可条款下的开放源代码发布。是当前流行的企业搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便，构建在全文检索开源软件Lucene之上的ElasticSearch...

1.安装Head插件什么是Headealsticsearch只是后端提供各种api，那么怎么直观的使用它呢？elasticsearch-head将是一款专门针对于elasticsearch的客户端工具elasticsearch-head配置包，下载地址：https://github.com/mobz/elasticsearch-head安装•es5以上版本安装head需要安装node和g...

1.下载JDK1.8以上的Linux版本　官网：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.下载Elastic Search的Linux版本　官网：https://www.elastic.co/downloads/elasticsearch3.启动虚拟机：将...

图解横向扩容过程，如何超出扩容极限，以及如何提升容错性（1）primary&replica自动负载均衡，6个shard，3 primary，3 replica（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好（3）扩容的极限，6个shard（3 primary，3 replica），最多扩容到6台机器，每个shard可...