种一颗十年前的树

去重查询的俩种方式：在进行去重查询时，原来的目的是对于查询出的结果中一模一样的数据进行去重，但是各种百度发现都是对于单一字段的去重查询，最后索性新增了一个字段，将其他字段拼接了起来，从而根据拼接的字段进行去重查询1.使用字段聚合+top_hits聚合方式dsl：GET sjck_personnel/_search{ "size": 0, "aggs": { "query_agg": { "terms": { "field": "concat_field

在项目中，手机号和身份证号码考虑都是为数字(身份证号码可能有X)，所以都设置为了keyword字段因为项目需要，需要对已经存入数据库的上亿条数据中的手机号和身份证号进行处理，对于身份证号码或手机能够分词项目中之前使用的为IK分次器，所以不会处理数字。下面是后来做出的一些解决方案，各有优缺点。方案1：使用ngram分词方式，对手机号身份证号进行分词重新导入数据或者reindex。优点：能够查询出来的数据结果更多缺点：数据冗余多具体实现Demo：DELETE user_indexGET

项目要求：客户可以筛选不同的index 并且可以进行多条条件的筛选。刚开始，一开始对于需求不够明确，认为搜索条件中的 第四个条件 “或or且”是针对于当前条件单独的描述。例如，名字等于xxx (且) 且表示当前条件必须成立。但是这样的理解是不正确的。正确的查询：且表示上下俩条数据都必须存在，或表示当前条件可以存在可以不存在。而后，被公司的大哥指点了一番，通过大集合小集合先对条件进行了处理，然后进行查询，完成的高级查询。解决思路：首先以“或”作为条件的分割， 如果在条件列表中，出现了或，则证明或后面

Elasticsearch 数据建模最佳实践建模建议（⼀）：如何处理关联关系Object •优先考虑 DenormalizationNested •当数据包含多数值对象（多个演员），同时有查询需求Child/Parent ●关联⽂档更新⾮常频繁时建模建议（⼆）: 避免过多字段● ⼀个⽂档中，最好避免⼤量的字段○ 过多的字段数不容易维护○ Mapping 信息保存在 Cluster State 中，数据量过⼤，对集群性能会有影响 （ClusterState 信息需要和所有的节点同步）○ 删

什么是数据建模？● 数据建模（Data modeling）， 是创建数据模型的过程○ 数据模型是对真实世界进⾏抽象描述的⼀种⼯具和⽅法，实现对现实世界的映射○ 博客 / 作者 / ⽤户评论○ 三个过程：概念模型 => 逻辑模型 => 数据模型（第三范式）○ 数据模型：结合具体的数据库，在满⾜业务读写性能等需求的前提下，确定最终的定义如何对字段进行建模？字段类型 ==》是否要搜索及分词 ==》是否要聚合及排序 ==》是否要额外的存储字段类型：Text v.s Keyword● T

#########Demo for Painless###############Painless 简介● ⾃ Elasticsearch 5.x 后引⼊，专⻔为 Elasticsearch 设计，扩展了 Java 的语法。 ● 6.0 开始，ES 只⽀持 Painless。Groovy， JavaScript 和 Python 都不再⽀持● Painless ⽀持所有 Java 的数据类型及 Java API ⼦集● Painless Script 具备以下特性○ ⾼性能 / 安全○ ⽀持显示

###Pipeline & Processor###● Pipeline - 管道会对通过的数据（⽂档），按照顺序进⾏加⼯###● Processor - Elasticsearch 对⼀些加⼯的⾏为进⾏了抽象包装###● Elasticsearch 有很多内置的Processors。也⽀持通过插件的⽅式，实现⾃⼰的 Processorpipeline 就是一组processors我们隔离通过_ingest/pipeline/_simulate API 模拟管道行为，进行测试descri

Update By Query & Reindex API###使⽤场景###● ⼀般在以下⼏种情况时，我们需要重建索引###● 索引的 Mappings ###发⽣变更：字段类型更改，分词器及字典更新###● 索引的 Settings ###发⽣变更：索引的主分⽚数发⽣改变###● 集群内，集群间需要做数据迁移###● Elasticsearch 的内置提供的 API###● Update By Query：在现有索引上重建###● Reindex：在其他索引上重建索引DELET

文档的父子关系###Parent / Child###● 对象和 Nested 对象的局限性###● 每次更新，需要重新索引整个对象（包括根对象和嵌套对象）###● ES 提供了类似关系型数据库中 Join 的实现。使⽤ Join 数据类型实现，可以通过维护 Parent###/ Child 的关系，从⽽分离两个对象###● ⽗⽂档和⼦⽂档是两个独⽴的⽂档###● 更新⽗⽂档⽆需重新索引⼦⽂档。⼦⽂档被添加，更新或者删除也不会影响到⽗⽂档和其他的⼦⽂档DELETE my_blogs设置ma

Elasticsearch 中处理关联关系#● 关系型数据库，⼀般会考虑 Normalize #数据；在 Elasticsearch，往往考虑 #Denormalize 数据#● Denormalize 的好处：读的速度变快 / #⽆需表连接 / ⽆需⾏锁#● Elasticsearch #并不擅⻓处理关联关系。我们⼀般采⽤以下#四种⽅法处理关联#○ 对象类型#○ 嵌套对象(Nested Object)#○ ⽗⼦关联关系(Parent / Child )#○ 应⽤端关联DELETE blog

聚合的作⽤范围及排序es聚合分析的默认作用范围是query的查询结果集同时es还支持以下方式改变聚合的作用范围filter post_filter globalDELETE /employeesPUT /employees/{ "mappings" : { "properties" : { "age" : { "type" : "integer" }, "gender" : { "type

自定义分词器测试！创建一个索引，并自定义分词器自定义一个分词器，名字为my_custom_analyzer 指定他为自定义分词器(type=custom) 指定他的char_filter 为my_charfilter(自定义产生，会对查询词进行预处理),指定他的分词方式为my_tokenizer（自定义的分词方式），指定一个结果过滤器(会去除调指定不需要的词项)PUT test_index{ "settings": { "analysis": { "analyzer": {

###Elasticsearch: 权威指南 » 深入搜索 » 控制相关度 »查询时权重提升 学习多个索引同时进行搜索时，可以通过indices_boost 提升索引权重，wbswxx中索引的文件的权重是2，tlsmz的为3，其他匹配的索引权重为默认值1GET tlsmz,hotel,wbswxx/_search{ "explain": true, "indices_boost": [ { "wbswxx": 2 }, { "tlsmz":3

Pipeline 聚合分析DELETE employeesPUT /employees/_bulk{ "index" : { "_id" : "1" } }{ "name" : "Emma","age":32,"job":"Product Manager","gender":"female","salary":35000 }{ "index" : { "_id" : "2" } }{ "name" : "Underwood","age":41,"job":"Dev Manager","ge

Bucket & Metric 聚合分析及嵌套聚合DELETE /employeesPUT /employees/{ "mappings" : { "properties" : { "age" : { "type" : "integer" }, "gender" : { "type" : "keyword" }, "job" : { "ty

多字段映射 ，指定title为english分词， title.std为standard分词。进行多次索引PUT /my_index{ "settings": { "number_of_shards": 1 }, "mappings": { "properties": { "title": { "type": "text", "analyzer": "english", "fields": { "

GET _cat/indicesGET hotel/_searchGET /_search{ "query": { "constant_score": { "filter": { "term": { "lvg_mc": "酒店" } }, "boost": 1.2 } }}DELETE /my_index PUT /my_index{ "settings": { "numbe

####分页也遍历–from size search after scroll #########默认情况下使用 from 和size 进行算分分页会出现深度分页的问题 页数越深，占用内存越多from + size 必须小于10000POST goods/_search{“from”: 0,“size”: 10000,“query”: {“match_all”: {}}}search after 避免深度分页的问题优点：避免深度分页缺点： 只能往下翻 不支持指定页数，只能从头翻

游标查询scroll 查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。7.x版本 设置每次查询的获取时间为1m 这个过期时间只需要足够处理当前批数据即可，而不是处理查询结果的所有文档需要的时间。 可以使用_doc 进行排序 可以避免全局排序深度分页滚动请求具有优化功能，可以使排序顺序为时更快_doc。如果要遍历所有文档而不考虑顺序，这是最有效的选择：GET /_search?scroll=1m{ "query": { "matc

##################Suggester#############################elasticsearch suggester 帮助用户在搜索的过程中，进行自动补全或者纠错，通过协助用户输入更加精准的关键词。原理：将输入的文本分解为Token，然后再索引的字典里查找相似的term 并返回根据不同的使⽤场景，Elasticsearch 设计了 4 种类别的 Suggesters###● Term & Phrase Suggester###● Complete

explain查看怎么计算得分的，format将json格式结果转为yaml展示POST tlsmz/_search?format=yaml{ "explain": true, "query": { "bool": { "must": [ { "term": { "fz.keyword": { "value": "南昌西" } }

################单字符串多字段查询：Dis Max Query######使⽤ bool 查询实现单字符串多字段查询##● 单字符串多字段查询时，如何在多个字段上进⾏算分##● 复合查询：Disjunction Max Query##● 将评分最⾼的字段评分作为结果返回，满⾜两个字段是竞争关系的场景##● 对最佳字段查询进⾏调优：通过控制 Tie Breaker 参数，引⼊其他字段对算分的⼀些影响DELETE blogsPUT /blogs/_doc/1{ "tit

################Query & Filtering 与多字符串多字段查询############DELETE productsPOST /products/_bulk{ "index": { "_id": 1 }}{ "price" : 10,"avaliable":true,"date":"2018-01-01", "productID" : "XHDK-A-1293-#fJ3" }{ "index": { "_id": 2 }}{ "price" : 20,"ava

####################搜索的相关性算分##################搜索的相关性—relevance搜索的相关性算分，描述了一个文档和查询语句匹配的程度，es会对每个匹配查询条件的结果进行算分_score打分的本质就是排序。把最符合用户需求的文档排在前面，es5之前。默认的相关性算分采用TF-IDF，现在采用BM25词频TFterm Frequency 英 /ˈfriːkwənsi/ : 检索词在一篇文档中出现的频率 检索词出现的次数除以文档的总字数度量一条查询和结果相关

#################结构化查询#################结构化搜索，是指对结构化数据的搜索 日期、布尔类型和数字都是结构化的ES中的结构化布尔，时间，日期和数字之类的结构化数据，有精确的格式，我们可以对这些格式进行逻辑操作，包括比较数字或时间的范围，或判断俩个值的大小，结构化的文本可以做精确匹配或者部分匹配 term查询/prefix前缀查询结构哈的结果只有是 或 否 俩个值 也可以根据需要，决定是否对结构化搜索进行打分#结构化搜索，精确匹配DELETE products

################ 基于词项和基于全文的搜索#####################term查询term查询不会对输入的词进行分词批量添加三条测试文档POST /products/_bulk{ "index": { "_id": 1 }}{ "productID" : "XHDK-A-1293-#fJ3","desc":"iPhone" }{ "index": { "_id": 2 }}{ "productID" : "KDKE-B-9947-#kL5","desc":"iP

##################es聚合分析查询###################es中聚合的分类 有Bucket aggregation 桶聚合(类似于mysql 的group by 分组查询) 有metric aggregation 数学函数聚合， (类似mysql的聚合函数 max min avg sum等) pipeline aggregation 对其他的聚合结果进行二次聚合 matrik aggregation 支持对多字段的操作并提供一个结果矩阵按照手机品牌进行桶聚合GET go

#####################20200527dynamicTemplate&indexTemplate####################es中会有很多的模板，当我们创建新的索引的时候，如果我们之前指定了模板，那么他会按照模板进行对索引的mapping 或者 settings 进行设置，如果我们在创建索引的时候，有自定义设置mapping和settings 那么他就不会使用模板，设置模板可以让我们不必每次创建索引的时候，都指定一下固定的设置创建一个模板，模板名称为templat

PUT my_index{ "settings": { "analysis": { "analyzer": { "ik":{ "tokenizer": "ik_smart" } } } }, "mappings": { "properties": { "date" : { "type": "date", "format": "yyyy-MM-dd HH:mm

1.数据格式为txt文本的json格式数据，首先需要将数据转换格式为csv格式public static void main(String[] args) throws JSONException, IOException { FileUtils.writeStringToFile(new File("你要导出的文件路径"), Json2Csv("你的json数据"));}public static String Json2Csv(String json) throws JSONEx

########################20200525elasticsearch 权威指南学习###############空查询，返回所有的索引下的所有文档GET _search可以通过指定timeout来让数据在指定的时间内返回已经查询到的数据，timeout 不是停止执行查询，它仅仅是告知正在协调的节点返回到目前为止收集的结果并且关闭连接。GET _search?timeout=1ms可以通过，直接索引多个index下的数据GET raven,raven_index/_searc

多字段特性及Mapping中配置自定义AnalyzerPUT logs/_doc/1{“level”:“DEBUG”}我们在创建索引的时候，可以创建多字段类型，通过多字段类型可以进行一些精确匹配，也可以使用不同的analyzer分词GET /logs/_mappingexact values(keyword) 精确值 full text(text) 全文检索 exact values 就是不需要进行分词character filters 特性过滤(当分词后设置特定 的过滤方式)tokenize

Mapping中的字段一旦设定后，禁止直接修改。因为倒排索引生成后不允许直接修改。需要重新建立新的索引，做reindex操作。类似数据库中的表结构定义，主要作用定义索引下的字段名字定义字段的类型定义倒排索引相关的配置（是否被索引？采用的Analyzer）对新增字段的处理truefalsestrict在object下，支持做dynamic的属性的定义当dynamic mapping映射时。如果映射不满足我们的需求。能否进行修改映射关系，答案是不能直接修改，除非进行reindex 重建索引

索引相关查看索引的信息GET goods通过settings可以进行设置一些系统参数number_of_replicas 设置副本分片的个数PUT goods/_settings{ "number_of_replicas": 1}dynamic策略。对不存在的字段直接添加数据时会自动识别我们添加的数据类型定制dynamic策略。true：遇到陌生字段 进行dynamic mappingfalse 遇到陌生字段，忽略strict 遇到陌生字段，报错将整体设置为 strict 部

elasticsearch之document创建修改原理

##########通过suggest completion 进行搜索补全建议############创建索引使用ik分词器 对于keyword字段设置类型为completion分词器为ik分词器的ik_smart 分词的力度小，分出来的词少PUT suggest{ "settings": { "number_of_replicas": 0, "number_of_shards": 1 }, "mappings": { "properties": {

es搜索之fetch phase 获取数据阶段

es搜索之 query phase 查询阶段

es7版本的时候 可以通过 scroll进行滚动查询滚动查询意思指的是如果获取的数据特别多，那我们可以分批获取数据，给服务器一个处理请求的时间，一次性查询出来数据，分批次进行获取，所以每次进行查询的时候都要传递一个系统的处理时间第一进行查询的时候 需要指定scroll = time 以及传递 每次获取的条数即可GET goods/_search?scroll=1m{ "query": { "match_all": {} } , "size": 20}srocll滚动查询的时

1、算法介绍relevance /ˈreləvəns/ score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度Elasticsearch使用的是 term frequency /ˈfriːkwənsi/ /inverse document frequency算法，简称为TF/IDF算法Term frequency：搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关搜索请求：hello worlddoc1：hello you, and