operator-elasticsearch (三)

已于 2024-11-19 23:32:22 修改
阅读量204 收藏
点赞数 2
分类专栏： operator-es 文章标签： elasticsearch 大数据 搜索引擎
于 2024-11-17 22:41:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45585143/article/details/143839838
版权

ES API 语法学习

//JSON格式中，字符串需要用双引号包围，而数字则不需要
//-s：以静默模式运行，不显示进度条和其他信息

19.多条件查询文档内容
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "category": "小米" //匹配小米
          }
        },
               {
          "match": {
            "price": 3999.0 //匹配价格
          }
        }
      ]
    }
  }
}'

同时满足两条结果 符合条件的有14个文档 
{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 14,
      "relation" : "eq"
    },
    "max_score" : 1.0678031,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "m8NgK5MB5s028Is5u9La",
        "_score" : 1.0678031,
        "_source" : {
          "title" : "小米手机",
          "category" : "小米",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },

满足不同的条件匹配
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d '{
  "query": {
    "bool": {
      "should": [   //或
        {
          "match": {
            "category": "小米"  //小米
          }
        },
               {
          "match": {
            "category": "华为" //华为
          }
        }
      ]
    }
  }
}' |jq -r .hits.total.value  // 筛选value结果
16 	//总共返回16条数据包含 "category": "华为"
      
{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 16,
      "relation": "eq"
    },
    "max_score": 3.8338451,
    "hits": [
      {
        "_index": "shopping",
        "_type": "_doc",
        "_id": "q8M4NZMB5s028Is5aNKX",
        "_score": 3.8338451,
        "_source": {
          "title": "小米手机",   
          "category": "华为",   
          "images": "http://www.gulixueyuan.com/xm.jpg",
          "price": 3999
        }
      },

20.范围查询文档内容
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d '{
   "query": {
     "bool": {
      "should": [    //或
         {
           "match": {
             "category": "小米"
           }
         },
                {
           "match": {
             "category": "华为"
           }
         }
       ],
       "filter" : {    //过滤
         "range" : {   //范围
           "price" : { //价格
             "gt" : 5000 //大于5000
           }
         }
      }
     }
   }
 }'

满足于华为和小米 大于5000的结果为0 
{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
....

21.全文检索 根据分词去倒排查询内容
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match" : {  //匹配
         "category": "华为" //分词
      }
    }
}'

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,   //匹配到两条数据内容
      "relation" : "eq"
    },
    "max_score" : 3.8338451,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "q8M4NZMB5s028Is5aNKX",
        "_score" : 3.8338451,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为",  
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "rMM4NZMB5s028Is5etL6",
        "_score" : 3.8338451,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为", 
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      }
    ]
  }
}

分词查询
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match" : {
         "category": "华" //分词 倒排查询 
      }
    }
}'

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,   //匹配两条数据
      "relation" : "eq"
    },
    "max_score" : 1.9169226,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "q8M4NZMB5s028Is5aNKX",
        "_score" : 1.9169226,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为", 
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
........

可以同时匹配 两个分词
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match" : {
         "category": "小华" //小为一个分词 华一个分词 去倒排查询结果
      }
    }
}'

{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16,  //16条数据
      "relation" : "eq"
    },
    "max_score" : 1.9169226,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "q8M4NZMB5s028Is5aNKX",
        "_score" : 1.9169226,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "rMM4NZMB5s028Is5etL6",
        "_score" : 1.9169226,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "m8NgK5MB5s028Is5u9La",
        "_score" : 0.15906468,
        "_source" : {
          "title" : "小米手机",
          "category" : "小米",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
.....

22.完全匹配 完全命中内容
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match_phrase" : { //完全匹配
        "category" : "小米"
      }
    }
      }'
{
  "took" : 96,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16, //返回16条数据
      "relation" : "eq"
    },
    "max_score" : 0.059705928,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "m8NgK5MB5s028Is5u9La",
        "_score" : 0.059705928,
        "_source" : {
          "title" : "小米手机",
          "category" : "小米",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      },
......

完全匹配不存在的内容
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match_phrase" : {
        "category" : "小华"
      }
    }
      }'

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0, //返回结果为0
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]  //结果内容为空
  }
}

23.查询内容 高亮显示 
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
    "query" : {
      "match_phrase" : {
        "category" : "华为" //完全匹配华为
      }
    },
      "highlight" : {   //高亮显示
          "fields" : {  //筛选字段
              "category" : {}
      }
    }
}'
      
{
  "took" : 722,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,        //两条数据
      "relation" : "eq"
    },
    "max_score" : 3.8338451,
    "hits" : [
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "q8M4NZMB5s028Is5aNKX",
        "_score" : 3.8338451,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        },
        "highlight" : {
          "category" : [
            "<em>华</em><em>为</em>"  //高亮显示
          ]
        }
      },
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "rMM4NZMB5s028Is5etL6",
        "_score" : 3.8338451,
        "_source" : {
          "title" : "小米手机",
          "category" : "华为",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        },
        "highlight" : {
          "category" : [
            "<em>华</em><em>为</em>"
          ]
        }
      }
    ]
  }
}
......

24.聚合数据汇总 查询 
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
  "aggs": {       //聚合查询部分
    "price_group": {   //自定义聚合的名称
      "terms": {       //分组查询
        "field": "price"  //分组字段
      }
    }
  }
}'

返回结果带有原来的文档内容
      {
        "_index" : "shopping",
        "_type" : "_doc",
        "_id" : "pcNVMJMB5s028Is5PdIA",
        "_score" : 1.0,
        "_source" : {
          "title" : "小米手机",
          "category" : "小米",
          "images" : "http://www.gulixueyuan.com/xm.jpg",
          "price" : 3999.0
        }
      }
    ]
  },
  "aggregations" : {
    "price_group" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 3999.0,      //值
          "doc_count" : 16     //16条数据命中
        }
      ]
    }
  }
}

返回内容过滤 只显示数据汇总值
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
  "aggs": {      
    "price_group": {   //分组名称
      "terms": {       //分组
        "field": "price"  
      }
    }
  },
     "size" : 0  //返回文档内容为0
}'
{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16,  //返回结果
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]   //空的内容
  },
  "aggregations" : {
    "price_group" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 3999.0,     //值
          "doc_count" : 16    //16条数据
        } 
      ]
    }
  }
}

汇总数据 取平均值
curl -s -XGET "http://localhost:9200/shopping/_search?pretty" -H "Content-type: application/json" -d \
'{
  "aggs": {      
    "price_avg": {  
      "avg": {  //取平均值 
        "field": "price"   
      }
    }
  }, 
     "size" : 0 
}'

      {
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16,  //返回结果
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]   //返回内容
  },
  "aggregations" : {
    "price_avg" : {
      "value" : 3999.0 //最终平均值
    }
  }
}

25.	索引映射关系
curl -s -XPUT "http://localhost:9200/user?pretty"

配置映射关系
curl -s -XPUT "http://localhost:9200/user/_mapping?pretty" -H "Content-type: application/json" -d \
'{
     "properties" : {  //属性
       "name" : {
         "type" : "text",  //全文搜索
         "index" : true    //索引可以被被查询
       },
       "sex" : {
         "type" : "keyword", //关键字需要完全匹配 
         "index" : true			//索引可以被查询
       },
       "tel" : {
         "type" : "keyword", //关键字需要完全匹配
         "index" : false		//字段不会被索引，无法通过查询搜索到
       }
     }
}'

创建文档内容
curl -s -XPUT "http://localhost:9200/user/_create/1001?pretty" -H "Content-type: application/json" -d \
'{
    "name" : "小米",
    "sex" : "男的",
    "tel" : "1111"
}'

全文检索内容
curl -s -XGET "http://localhost:9200/user/_search?pretty" -H "Content-type: application/json" -d \
'{
     "query" : {
       "match" : {
         "name" : "小"  //分词查询
       }
     }
}'

.......
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "user",
        "_type" : "_doc",
        "_id" : "1001",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "小米",  //命中了
          "sex" : "男的",
          "tel" : "1111"
        }
      }
    ]
  }
}

curl -s -XGET "http://localhost:9200/user/_search?pretty" -H "Content-type: application/json" -d \
'{
     "query" : {
       "match" : {
         "sex" : "男"  //keyword 类型
       }
     }
}'

......
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]        //数据为空 需要完全匹配关键字
  }
}

curl -s -XGET "http://localhost:9200/user/_search?pretty" -H "Content-type: application/json" -d \
'{
     "query" : {
       "match" : {
         "tel" : "1111"  //索引不能被查询	

       }
     }
}'

  "error" : {  
    "root_cause" : [
      {
        "type" : "query_shard_exception",
        "reason" : "failed to create query: Cannot search on field [tel] since it is not indexed.",
        "index_uuid" : "s5BR_OilSKeiHyC2PsK2cA",
        "index" : "user"
.....

今日总结
1.多条件查询、范围查询
2.全文检索、完全匹配、高亮查询
3.数据汇总、索引映射关系

自己挖坑自己填 spring-data-elasticsearch 4.0.0.M4 简单实践
lixiang19971019的博客
03-21 6076
前几天安装了elasticsearch7.6.1,今天准备实践下spring-data-elasticsearch 文章目录搭建环境编写yml配置创建实体类基于Spring Data的CRUD直接从方法名称派生查询自定义的查询ElasticsearchRestTemplate的使用indexOperations 索引库相关操作有关Query的构造器QueryBuilders构造复杂查询条件Docu...
ES --elasticsearch基础学习
weixin_44534544的博客
06-01 412
elasticsearch 基础语法理解与原理梳理
探索未来数据检索：Elasticsearch Operator
gitblog_00052的博客
05-18 479
探索未来数据检索：Elasticsearch Operator 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 Elasticsearch Operator 是一款专为管理Elasticsearch集群而设计的强大工具。它由UPMC Enterprises开发并维护，能帮你轻松部署和扩展Elasticsearch在Kubernetes环境中的应用，且包含了跨区域的数...
elasticsearch-operator:Elasticsearch Operator在Kubernetes上创建配置以管理Elasticsearch集群
05-10
Elasticsearch运算子 ！！警告！！ 该代码目前不再维护，请改用其他的Elasticsearch，例如 ！ 如果您想提取存储库/代码，请通过邮件告知我。 谢谢！ 此的代码基于 。 项目状态： Alpha并非所有计划的功能都已完成。 API，规格，状态和其他面向用户的对象可能会发生更改。 我们不支持Alpha版本的向后兼容。 用于Kubernetes的Elasticsearch Operator可为Kubernetes服务以及Elasticsearch实例的部署和管理提供简单的监视定义。 安装后，Elasticsearch Operator将提供以下功能： 创建/销毁：使用运算符轻松为您的Kubernetes命名空间，特定应用程序或团队启动Elasticsearch集群。 简单配置：从本地Kubernetes资源配置Elasticsearch的基础知识，例如版本，持久
elasticsearch-operator：管理elasticsearch集群
02-03
Elasticsearch运算符 ElasticSearch运算符旨在管理一个或多个弹性搜索集群。 项目中（最初）包括创建弹性集群，跨Kubernetes集群中的各个区域部署data nodes以及将快照索引部署到AWS S3的功能。 要求 Kubernetes 该操作员是在1.7.X Kubernetes群集上构建和测试的，并且由于操作员使用“自定义资源定义”，因此它是最低版本。 注意：如果在较旧的群集上使用，请确保使用仍使用第三方资源的版。 云 该运营商目前还旨在利用进行快照/还原到弹性集群。 该项目的目标是扩展以支持其他云和方案，以使其具有完整功能。 通过换出存储类型，可以在GKE中使用它，但是快照目前不起作用。 演示版 在此处观看演示： 用法 使用控制器+自定义资源定义模型构建操作员。 将控制器部署到您的集群后，它将自动创建CustomResourceDefinition（CRD）。 接着创建Kubernetes对象类型elasticsearchCluster部署基于CRD弹性集群。 CustomResourceDefinition 以下参数可用于自定义弹性簇：
operator-elasticsearch (四)
Mark
11-24 1002
operator来部署elasticsearch集群
ElasticSearch Operator 使用 http 协议
baobaoxiannv的博客
05-05 1061
背景：使用 ElasticSearch Operator 来部署 ElasticSearch 的话由 Operator 创建的 svc 的类型是 https，但是某些情况下可能我们并不想使用 https 协议。所以这个时候我们需要把 https 更新为 http 协议。 官方描述 curl -u "elastic:$PASSWORD" -k "https://localhost:9200" { "name" : "quickstart-es-default-0", "cluster_name" :
ElasticSearch之匹配查询operator和minimumShouldMatch用法详解
numbbe的博客
12-02 9307
使用场景 我现在有两个字段参与索引，文件名称和文件索引。 搜索的时候，一个关键字匹配查询两个字段。 思路分析 众所周知，匹配查询先分词再查询。 单字段查询比较简单，下边有两个例子，一个单字段，一个多字段布尔匹配查询。 假如单字段查询关键字为“万里长城真伟大”。 注意： 在这个测试过程中，我没有使用Kibana进行测试，我是直接使用java代码测试的，结果是一样的。 为什么不使用Kibana呢？原因如下： Kibana语法，每次写的时候，我都是打开Kibana文档，直接复制粘贴，改改就用，不是我吹，应该没几个
es-operator：用于Elasticsearch的Kubernetes运算符
02-04
ES-Operator已通过Elasticsearch 6.x和7.0测试。 这个怎么运作 该操作员通过管理称为ElasticsearchDataSets （EDS）的自定义资源来工作。 它们基本上是StatefulSets的一个薄包装。 一个EDS代表一组普通的Elastic...
Spring-data-ElasticSearch 快速入门Demo
yellow__star的博客
12-07 1033
分布式索引检索系统ElasticSearch 用于实时数据查询。本文基于springboot搭建入门demo. 通过操作es 实现crud. 重点：学会套路 需要注意的是使用 NativeSearchQueryBuilder 实现分页查询，关键字模糊查询，字段的聚合查询,不同字段的排序查询。 数据库对应elasticsearch 中的索引字段的表 product表: CREATE...
Elasticsearch Operations详解
最新发布
深圳市多克创新科技有限公司
12-09 1568
Elasticsearch Operations详解
ElasticSearch Operator 工作原理浅析
云原生实验室
08-26 3907
Docker 技术鼻祖系列前一段时间在死磕 ElasticSearch，本着偷师学艺的目的来读一下 ElasticSearch Operator 代码，学习一下 Operator 管理 ...
k8s Operator 部署 elasticsearch 7.10 + kibana + cerebro
临江仙我亦是行人
06-10 1500
基于 Kubernetes Operator 模式部署 elasticsearch kifana cerebro
elasticsearch 常见操作
knight_black_bob的专栏
03-11 221
import java.util.Map; import java.util.concurrent.ExecutionException; import org.apache.log4j.Logger; import org.elasticsearch.action.admin.indices.create.CreateIndexRequest; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExist
第25关 利用operator部署生产级别的Elasticserach集群和kibana
博哥爱运维
12-19 2188
利用operator部署生产级别的Elasticserach集群和kibana
ElasticSearch : IN equivalent operator in ElasticSearch
www.hohode.com
05-20 521
http://stackoverflow.com/questions/30111258/elasticsearch-in-equivalent-operator-in-elasticsearchSimilar to what Chris suggested as a comment, the analogous replacement for IN is the terms filter (quer
Elasticsearch(10) match的使用
qq_29312279的博客
03-13 906
Elastic Match是Elasticsearch中用于全文搜索的一种查询语法。它可以将搜索词进行分词，并与目标查询字段进行匹配。
Elasticsearch(十四)搜索---搜索匹配功能⑤--全文搜索
学习不止境的博客
08-23 1548
不同于之前的term。terms等结构化查询，全文搜索首先对查询词进行分析，然后根据查询词的分词结果构建查询。这里所说的全文指的是文本类型数据（text类型）,默认的数据形式是人类的自然语言，如对话内容、图书名称、商品介绍和酒店名称等。结构化搜索关注的是数据是否匹配，全文搜索关注的是匹配程度；结构化搜索一般用于精确匹配，而全文搜索用于部分匹配。本章将详细介绍使用最多的全文搜索。
Elasticsearch语法知多少之Match query
前者已逝，后者未至。
08-06 3538
掌握匹配查询，本文会列举各种常见的案例，通过这些案例来熟悉匹配查询各个参数的功能和使用方法。
Elasticsearch Operator 部署2.7版本
11-23
Elasticsearch Operator 是一个用于 Kubernetes 环境中的 Elasticsearch 和 Kibana 的管理工具，它允许用户通过声明式配置轻松地在集群中安装、升级和管理这些服务。部署 Elasticsearch 2.7 版本的具体步骤如下： 1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值