[elasticsearch笔记] search

最新推荐文章于 2022-04-02 01:40:47 发布
最新推荐文章于 2022-04-02 01:40:47 发布
阅读量335 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： elasticsearch 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43834662/article/details/94617089
本文深入探讨Elasticsearch的高级搜索功能，包括AdaptiveReplicaSelection算法的选择机制，scroll搜索的实现方式，以及多种查询类型如QueryThenFetch和DfsQueryThenFetch的使用场景。此外，还详细介绍了排序、切片、多索引查询、脚本字段、聚合查询等复杂操作，并解释了如何通过调整settings来优化搜索性能。

重点

  • 协调节点（coordinating node）会根据 Adaptive Replica Selection 选择合适的节点处理请求。
  • Adaptive Replica Selection 算法根据以下指标选择处理节点：
    • 协调节点和包含数据节点过去请求的响应时间
    • 包含数据节点过去处理请求的时间
    • 包含数据节点搜索线程池的队列大小
  • 可通过如下方式设置算法，如果关闭，则使用 round robin 决定处理节点（包含 主分片&&副分片）
  • 为了快速响应，一个或者多个分片失败后，search将会返回部分结果
  • 不要使用普通Search做深度搜索，深度搜索使用 Scroll
  • search type
    • Query Then Fetch( query_then_fetch )：根据本地信息计算score。query过程只返回足够的信息（id，score），然后再fetch
    • Dfs, Query Then Fetch( dfs_query_then_fetch ): 预期全局信息，计算score
    • DFS：分布式文件系统
  PUT /_cluster/settings
  {
    "transient": {
      "cluster.routing.use_adaptive_replica_selection": false
    }
  }

scroll search


POST /bank/_search?scroll=1m
{
    "size": 10,
    "query": {
      "match_all": {}
    }
}

POST /_search/scroll 
{
    "scroll" : "10m", 
    "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAA3UWUDl0LUlXNDdRMHFtSU1wR1N4WG5Fdw==" 
}

DELETE /_search/scroll
{
    "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAA3UWUDl0LUlXNDdRMHFtSU1wR1N4WG5Fdw=="
}

DELETE /_search/scroll
{
    "scroll_id" : [
      "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==",
      "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAABFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAAAxZrUllkUVlCa1NqNmRMaUhiQlZkMWFBAAAAAAAAAAIWa1JZZFFZQmtTajZkTGlIYkJWZDFhQQAAAAAAAAAFFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAABBZrUllkUVlCa1NqNmRMaUhiQlZkMWFB"
    ]
}

DELETE /_search/scroll/_all

DELETE /_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==,DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAABFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAAAxZrUllkUVlCa1NqNmRMaUhiQlZkMWFBAAAAAAAAAAIWa1JZZFFZQmtTajZkTGlIYkJWZDFhQQAAAAAAAAAFFmtSWWRRWUJrU2o2ZExpSGJCVmQxYUEAAAAAAAAABBZrUllkUVlCa1NqNmRMaUhiQlZkMWFB

GET /bank/_search?scroll=1m
{
    "slice": {
        "id": 0, 
        "max": 2 
    },
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    }
}
GET /bank/_search?scroll=1m
{
    "slice": {
        "id": 1,
        "max": 2
    },
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    }
}

GET /bank/_search?scroll=1m
{
    "slice": {
        "field": "date",
        "id": 0,
        "max": 10
    },
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    }
}

GET /_nodes/stats/indices/search

sort

GET /my_index/_search
{
  "sort": [
    {
      "post_date": {
        "order": "asc"
      }
    },
    "user",
    {
      "name": "desc"
    },
    {
      "age": "desc"
    },
    "_score"
  ],
  "query": {
    "term": {
      "user": "kimchy"
    }
  }
}

PUT /my_index/_doc/1?refresh
{
  "product": "chocolate",
  "price": [
    20,
    4
  ]
}

POST /my_index/_search
{
  "query": {
    "term": {
      "product": "chocolate"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc",
        "mode": "avg"
      }
    }
  ]
}

_source


GET /_search
{
    "_source": {
        "includes": [ "obj1.*", "obj2.*" ],
        "excludes": [ "*.description" ]
    },
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": [ "obj1.*", "obj2.*" ],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": "obj.*",
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": false,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

stored field

GET /_search
{
    "stored_fields": "_none_",
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

# only _id, _type 
GET /_search
{
    "stored_fields" : [],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "stored_fields" : ["user", "postDate"],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}
  • _msearch
GET twitter/_msearch
{}
{"query" : {"match_all" : {}}, "from" : 0, "size" : 10}
{}
{"query" : {"match_all" : {}}}
{"index" : "twitter2"}
{"query" : {"match_all" : {}}}

GET _msearch/template
{"index":"twitter"}
{"source":"{ \"query\": { \"match\": { \"message\" : \"{{keywords}}\" } } } }","params":{"query_type":"match","keywords":"some message"}}
{"index":"twitter"}
{"source":"{ \"query\": { \"match_{{template}}\": {} } }","params":{"template":"all"}}

其他

GET _cat/indices

GET /_search?q=age:32&size=0&terminate_after=1
GET /bank,twitter/_search?q=firstname:Anita

GET /bank/_search
{
  "query": {
    "match": {
      "firstname": "Anita"
    }
  },
  "explain": true
}

GET /_search
{
  "query": {
    "match_all": {}
  },
  "docvalue_fields": [
    "type",
    {
      "field": "age"
    },
    {
      "field": "updated_at",
      "format": "epoch_millis"
    }
  ]
}

GET /bank/_search
{
  "query": {
    "match": {
      "gender": "M"
    }
  },
  "collapse": {
    "field": "age"
  },
  "sort": [
    "age"
  ],
  "from": 5,
  "size": 10
}

GET /_search
{
  "indices_boost": [
    {
      "bank": 1.4
    },
    {
      "kibana*": 1.3
    }
  ]
}


PUT test
{
  "mappings": {
    "properties": {
      "comments": {
        "type": "nested",
        "properties": {
          "votes": {
            "type": "nested"
          }
        }
      }
    }
  }
}

PUT test/_doc/1?refresh
{
  "title": "Test title",
  "comments": [
    {
      "author": "kimchy",
      "number": 1
    },
    {
      "author": "nik9000",
      "number": 2
    }
  ]
}

PUT test/_doc/2?refresh
{
  "title": "Test title",
  "comments": [
    {
      "author": "kimchy",
      "text": "comment text"
    },
    {
      "author": "nik9000",
      "text": "words words words"
    }
  ]
}

PUT test/_doc/3?refresh
{
  "title": "Test title",
  "comments": [
    {
      "author": "kimchy",
      "text": "comment text",
      "votes": []
    },
    {
      "author": "nik9000",
      "text": "words words words",
      "votes": [
        {"value": 1 , "voter": "kimchy"},
        {"value": -1, "voter": "other"}
      ]
    }
  ]
}

POST test/_search
{
  "query": {
    "nested": {
      "path": "comments.votes",
        "query": {
          "match": {
            "comments.votes.voter": "kimchy"
          }
        },
        "inner_hits" : {}
    }
  }
}

POST test/_search
{
  "query": {
    "nested": {
      "path": "comments",
      "query": {
        "match": {"comments.number" : 2}
      },
      "inner_hits": {} 
    }
  }
}

POST test/_search
{
  "query": {
    "nested": {
      "path": "comments",
      "query": {
        "match": {"comments.text" : "words"}
      },
      "inner_hits": {
        "_source" : false,
        "docvalue_fields" : [
          "comments.text.keyword"
        ]
      }
    }
  }
}

GET /_search
{
    "min_score": 0.5,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /shirts/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": { "brand": "gucci" } 
      }
    }
  },
  "aggs": {
    "agg_colors": {
      "terms": { "field": "color" } 
    },
    "color_red": {
      "filter": {
        "term": { "color": "red" } 
      },
      "aggs": {
        "agg_models": {
          "terms": { "field": "model" } 
        }
      }
    },
    "color_black":{
      "filter":{
        "term":{"color":"black"}
      },
      "aggs":{
        "agg_models":{
          "terms":{"field":"model"}
        }
      }
    }
  },
  "post_filter": { 
    "term": { "color": "red" }
  }
}

POST /_search
{
   "query" : {
      "match" : {
         "message" : {
            "operator" : "or",
            "query" : "the quick brown"
         }
      }
   },
   "rescore" : {
      "window_size" : 50,
      "query" : {
         "rescore_query" : {
            "match_phrase" : {
               "message" : {
                  "query" : "the quick brown",
                  "slop" : 2
               }
            }
         },
         "query_weight" : 0.7,
         "rescore_query_weight" : 1.2
      }
   }
}

POST /_search
{
   "query" : {
      "match" : {
         "message" : {
            "operator" : "or",
            "query" : "the quick brown"
         }
      }
   },
   "rescore" : [ {
      "window_size" : 100,
      "query" : {
         "rescore_query" : {
            "match_phrase" : {
               "message" : {
                  "query" : "the quick brown",
                  "slop" : 2
               }
            }
         },
         "query_weight" : 0.7,
         "rescore_query_weight" : 1.2
      }
   }, {
      "window_size" : 10,
      "query" : {
         "score_mode": "multiply",
         "rescore_query" : {
            "function_score" : {
               "script_score": {
                  "script": {
                    "source": "Math.log10(doc.likes.value + 2)"
                  }
               }
            }
         }
      }
   } ]
}

GET /_search
{
    "query" : {
        "match_all": {}
    },
    "script_fields" : {
        "test1" : {
            "script" : {
                "lang": "painless",
                "source": "doc['price'].value * 2"
            }
        },
        "test2" : {
            "script" : {
                "lang": "painless",
                "source": "doc['price'].value * params.factor",
                "params" : {
                    "factor"  : 2.0
                }
            }
        }
    }
}

GET twitter/_search
{
    "size": 10,
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    },
    "search_after": [1463538857, "654323"],
    "sort": [
        {"date": "asc"},
        {"tie_breaker_id": "asc"}
    ]
}



PUT /my_index/_doc/1?refresh
{
  "product": "chocolate",
  "price": [
    20,
    4
  ]
}

POST /my_index/_search
{
  "query": {
    "term": {
      "product": "chocolate"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc",
        "mode": "avg"
      }
    }
  ]
}

GET /_search
{
    "query" : {
        "term" : { "user" : "kimchy" }
    },
    "sort" : {
        "_script" : {
            "type" : "number",
            "script" : {
                "lang": "painless",
                "source": "doc['field_name'].value * params.factor",
                "params" : {
                    "factor" : 1.1
                }
            },
            "order" : "asc"
        }
    }
}

GET /_search
{
    "track_scores": true,
    "sort" : [
        { "post_date" : {"order" : "desc"} },
        { "name" : "desc" },
        { "age" : "desc" }
    ],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "query" : {
        "term" : { "user" : "kimchy" }
    },
    "sort" : {
        "_script" : {
            "type" : "number",
            "script" : {
                "lang": "painless",
                "source": "doc['field_name'].value * params.factor",
                "params" : {
                    "factor" : 1.1
                }
            },
            "order" : "asc"
        }
    }
}
【Elasticsearch】使用自适应副本选择改进弹性搜索的响应延迟
九师兄
05-30 423
1.概述 翻译：Improving Response Latency in Elasticsearch with Adaptive Replica Selection 2.介绍 在这篇博文中，我将描述Elasticsearch的一个新特性，即Adaptive Replica Selection (ARS)。在描述ARS做什么之前，我将首先描述它试图解决的问题。假设您有一个包含三个节点的集群。在这三个节点上，有一个分片和它的副本。 然后想象一个节点开始经历痛苦。 当接收到搜索请求时，Elasticsea.
ElasticSearch学习笔记
最新发布
m0_50281408的博客
09-22 1587
Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好可以扩展到上百台服务器，处理PB级别的数据。
Elasticsearch 7.10 之 Search shard routing
王大呀呀的博客
02-01 861
为了防止硬件故障并提高搜索容量，Elasticsearch 可以跨多个节点上的多个分片存储索引数据的副本。运行搜索请求时，Elasticsearch 选择一个包含索引数据副本的节点，并将搜索请求转发到该节点的分片。此过程称为搜索分片路由或路由。 Adaptive replica selection 默认情况下，Elasticsearch 使用自适应副本选择来路由搜索请求。此方法使用分片分配意识和以下条件选择合格的节点： 协调节点与合格节点之间的先前请求的响应时间 合格节点运行先前的搜索所花费的时间 合格节
elasticsearch中的 slice （切片）详解
Angus
04-02 5066
Paginate search results | Elasticsearch Guide [8.1] | Elastichttps://www.elastic.co/guide/en/elasticsearch/reference/8.1/paginate-search-results.html#slice-scroll先敬上官网链接。一手资料永远都是官网！ 我先说一下为什么会关注这块内容：我有需求需要快速导出集群中的数据，而数据又非常多。将近20亿！ 单线程利用 scroll导出也比较慢。然后我..
ElasticSearch的REST APIs - 搜索API
aben_sky的专栏
11-09 625
ES 7.7 官方文档 除了 Explain Api，大多数的搜索api都支持多索引(multi-index)。 主要内容: 路由 (Routi...
EslasticSearch查询的相关api
qq_41100433的博客
06-11 1159
官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/search.html路由 routing执行搜索时，它将广播到所有索引/索引碎片。我们可以通过提供路由参数来控制将要搜索哪些分片。从而避免无效的查询。例如，当我们想搜索某人的微博时，路由值可以是用户名：如下所示POST /twitter/tweet?routi...
Elasticsearch学习笔记
热门推荐
KISS
04-15 33万+
- - - - 第1章 Elasticsearch概述 - 01-开篇 02-技术选型 03-教学大纲 - 第2章 Elasticsearch入门 - 04-入门-环境准备 05-入门-RESTful & JSON 06-入门-Postman客户端工具 07-入门-倒排索引 08-入门-HTTP-索引-创建 09-入门-HTTP-索引-查询 & 删除 10-入门-HTTP-文档-创建（Put & Post） 11-入门-HTTP-查询-主键查询 &...
Elasticsearch入门学习笔记
06-28
这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你可以访问官方网站（https://www.elastic.co/cn/downloads/elasticsearch）下载最新版本...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
ElasticSearch笔记
11-20
ElasticSearch，简称为ES，是一个开源的、高度可扩展的分布式全文检索引擎。它基于 Java 开发，并利用 Lucene 作为其核心，实现了高效索引和搜索功能。ElasticSearch 通过Resultful API简化了与Lucene的交互，隐藏了...
ElasticSearch笔记教程
12-11
ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程ElasticSearch笔记教程Elastic...
ElasticSearch中Scroll介绍
杨春建的博客
07-14 2589
原文地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.5/search-request-scroll.html Elasticsearch Reference [5.5] » Search APIs » Request Body Search » Scroll «  Search Type
鸟哥linux学习笔记
huqianhqa的博客
03-12 146
1.linux系统帮助文档 man/info CMD 2.更改文件属性与权限 chgrp [-R] dirname/filename … chown [-R] user:group dir/file chmod [-R] 777 dir/file 3.权限对文件的作用和权限对目录的作用不同 r对文件可读内容 对目录只能查看文件名 w对文件可编辑不能删除 对目录可以新建删除文件或目录 x对文件可执行...
Elasticsearch自动补全-ngram
weixin_43834662的博客
06-18 2783
create template PUT _template/star { "index_patterns":"star*", "settings":{ "refresh_interval":"3s", "number_of_replicas":1, "number_of_shards":5, "analysis":{ "filter":{ ...
ES支持中文&&全拼&&拼音首字母搜索
weixin_43834662的博客
06-17 2690
环境 Ubuntu18.04 ES 6.6.1 搜索模板 新建模板，便于后续创建索引，直接使用模板，省事方便 PUT _template/goods { "index_patterns":"goods*", "settings": { "index.number_of_replicas": "1", "index.number_of_shards": "5", ...
mall商城源码分析[持续更新中]
weixin_43834662的博客
07-16 2647
mall-master github note hutool <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>...
[elasticsearch笔记]Managing the index lifecycle
weixin_43834662的博客
08-08 1818
索引生命周期notedemo note 索引的生命周期 hot warm cold delete 如果 index.lifecycyle.indexing_complete=true, 索引不会通过 ilm policy rollover 应用 ilm policy 到已有index中有两个主要问题： 不能有 rollover 相关设置，因为rollover是针对新建的index的 避免...
[ES笔记] multi_match
weixin_43834662的博客
04-21 1457
搜索的三种场景 最佳字段（Best Fields） 评分来自最匹配的字段 多数字段（Most Fields） 处理英文时，一种常见的手段是，在主字段用English Analyzer分词（提取词干，加入同义词），以匹配更多文档；同时加入子字段，用 Standard Analyzer分词，以提供更加精准的匹配。其他字段作为匹配文档提高相关度的信号。匹配字段越多则越好。 混合字段（Cro...
Ingest Node && Pipeline && Processor
weixin_43834662的博客
08-07 1321
文章目录notedemo_simulatesetdrop && iffaildissectgrokuppercase note processors 详情查看 ingest node 的目的在于在实际文档被索引前，预处理文档 ingest node会拦截 bulk、index 请求，会执行相关操作，然后把操作结果返回给 index、bulk请求 关闭 ingest node 功能...
ElasticSearch实战技巧与学习笔记
资源摘要信息:"在本节学习笔记中，我们将深入探讨Elasticsearch的实际应用。Elasticsearch是一个基于Lucene的搜索引擎，它提供了一个分布式、多用户能力的全文搜索引擎。基于HTTP Web接口，并使用JSON作为数据交换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值