elasticsearch各种查询

最新推荐文章于 2025-09-06 19:53:11 发布
原创 最新推荐文章于 2025-09-06 19:53:11 发布 · 3.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文介绍了如何在Windows上安装Logstash以及使用Logstash迁移MySQL数据到Elasticsearch。接着详细讲解了Elasticsearch的复杂查询，包括wildcard通配符、regexp正则、prefix前缀、fuzzy模糊、cardinality去重、聚合和高亮查询等操作。

一、Windows下logstash的安装

1.下载地址为：https://www.elastic.co/downloads/logstash ，下载与ES版本一致
2.解压
3.在bin文件夹下创建logstash.conf，并添加以下内容

input {
    stdin{
    }
}  
output {
    stdout{
    }
}

4.启动logstash：logstash -f logstash.conf
5.访问http://localhost:9600/，检查是否启动成功

二、logstash实现MySQL数据迁移至es

1.下载mysql-connector-java，并放在logstash目录下
地址：https://dev.mysql.com/downloads/connector/j/5.1.html
在这里插入图片描述
2.在logstash的bin目录下添加mysql_info.conf，并添加以下代码

input {
    stdin {
    }
    jdbc {
		# mysql数据库连接，es_test是mysql的数据库
		jdbc_connection_string => "jdbc:mysql://172.16.187.30:3306/es_test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
		# mysqly用户名和密码
		jdbc_user => "root"
		jdbc_password => "123456"
		# 驱动配置
		jdbc_driver_library => "D:\logstash-7.11.1\mysql\mysql-connector-java-8.0.23\mysql-connector-java-8.0.23.jar"
		# 驱动类名
		jdbc_driver_class => "com.mysql.jdbc.Driver"
		jdbc_paging_enabled => "true"
		jdbc_page_size => "50000"
		# 执行指定的sql文件
		#statement_filepath => "D:\service\logstash-7.7.0\mysql\sql\fa_search.sql"
		#执行的sql语句，查询源数据的sql语句(output就是将此处的查询结果insert到ES中)
		statement => "SELECT * FROM es_data"
		# 设置监听 各字段含义 分 时 天 月  年 ，默认全部为*代表含义：每分钟都更新
		schedule => "* * * * *"
		# 索引类型
		#type => "blog"
    }
} 
 
output {
 
    elasticsearch {
        #es服务器
        hosts => ["172.16.187.28:9200"]
        #ES索引名称
        index => "mysql_data"
        #自增ID
        document_id => "%{id}"
    }
    
    stdout {
        codec => json_lines
    }
}

注意，若配置文件缩进或格式不对，启动会报错
3.最后启动logstash -f mysql_info.conf

三、elasticsearch复杂查询

1.wildcard通配符查询

#查询name包含zh的人名
GET school/_search?pretty
{
“query”: {
“wildcard”: {
“name”: {
“value”: “zh*”
}
}
},
“_source”: “*”
}

常用通配符：?匹配任意字符，*匹配0或多个字符，.匹配单个字符
当然也有匹配不到的情况，原因是数据被进行了分词，但使用的通配未在分词内
如，姓名：张韶涵，分词有：张韶涵,韶,涵，若使用通配符张涵*，则无法匹配*

2.regexp正则查询

#查询以zh开头，总共7个字母的名字
GET school/search
{
“query”: {
“regexp”: {
“name”: “zh[a-z]{5}”
}
}
}
校验数字类型的表达式
在这里插入图片描述
校验字符的表达式
在这里插入图片描述
校验特殊需求的表达式
• Email地址：^\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)$
• 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+.?
• InternetURL：[a-zA-z]+://[^\s] 或 ^http://([\w-]+.)+[\w-]+(/[\w-./?%&=]*)?$
• 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|4|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
• 电话号码(“XXX-XXXXXXX”、“XXXX-XXXXXXXX”、“XXX-XXXXXXX”、“XXX-XXXXXXXX”、"XXXXXXX"和"XXXXXXXX)：^((\d{3,4}-)|\d{3.4}-)?\d{7,8}$
• 国内电话号码(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}
• 电话号码正则表达式（支持手机号码，3-4位区号，7-8位直播号码，1－4位分机号）: ((\d{11})|^((\d{7,8})|(\d{4}|\d{3})-(\d{7,8})|(\d{4}|\d{3})-(\d{7,8})-(\d{4}|\d{3}|\d{2}|\d{1})|(\d{7,8})-(\d{4}|\d{3}|\d{2}|\d{1}))KaTeX parse error: Undefined control sequence: \d at position 42: …验位，可能为数字或字符X：(^\̲d̲{15})|(^\d{18}KaTeX parse error: Undefined control sequence: \d at position 5: )|(^\̲d̲{17}(\d|X|x))
• 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^ [a-zA-Z][a-zA-Z0-9]{4,15}$
• 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：^ [a-zA-Z]\w{5,17}$
• 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在 8-10 之间)：^(?=.\d)(?=.[a-z])(?=.[A-Z])[a-zA-Z0-9]{8,10}$
• 强密码(必须包含大小写字母和数字的组合，可以使用特殊字符，长度在8-10之间)：^(?=.\d)(?=.[a-z])(?=.[A-Z]).{8,10}$
• 日期格式：^\d{4}-\d{1,2}-\d{1,2}
• 一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$
• 一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$
• 钱的输入格式：

  1. 有四种钱的表示形式我们可以接受:“10000.00” 和 “10,000.00”, 和没有 “分” 的 “10000” 和 “10,000”：^ [1-9][0-9]*$
  2. 这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：^(0|[1-9][0-9]*)$
  3. 一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：^(0|-?[1-9][0-9]*)$
  4. 这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧。下面我们要加的是说明可能的小数部分：^ [0-9]+(.[0-9]+)?$
  5. 必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 “10” 和 “10.2” 是通过的：^ [0-9]+(.[0-9]{2})?$
  6. 这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：^ [0-9]+(.[0-9]{1,2})?$
  7. 这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：^ [0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
  8. 1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
  9. 备注：这就是最终结果了,别忘了"+“可以用”"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
    • xml文件：^([a-zA-Z]±?)+[a-zA-Z0-9]+\.[x|X][m|M][l|L]$
    • 中文字符的正则表达式：[\u4e00-\u9fa5]
    • 双字节字符：[^\x00-\xff] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))
    • 空白行的正则表达式：\n\s    \r (可以用来删除空白行)
    • HTML标记的正则表达式：<(\S*?)[^>]>.?|<.? /> ( 首尾空白字符的正则表达式：^\s|\s*KaTeX parse error: Undefined control sequence: \s at position 4: 或(^\̲s̲*)|(\s*) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)
    • 腾讯QQ号：[1-9][0-9]{4,} (腾讯QQ号从10000开始)
    • 中国邮政编码：[1-9]\d{5}(?!\d) (中国邮政编码为6位数字)
    • IPv4地址：((2(5[0-5]|[0-4]\d))|[0-1]?\d{1,2})(.((2(5[0-5]|[0-4]\d))|[0-1]?\d{1,2})){3}

3.prefix前缀查询

查询子首的，可以指定字段的前缀，从而查询到指定的文档，可以实现类似百度输入后弹出提示的效果。
#以x开头的学生名字
GET school/_search
{
“query”: {
“prefix”: {
“name”: {
“value”: “x”
}
}
}
}

4.fuzzy模糊查询

模糊查询，根据输入的内容大概的搜索，可以输入错别字，不是很稳定，比如输入网一来搜索网易就搜不到。
#是否能搜索出travel内容
GET school/_search
{
“query”: {
“fuzzy”: {
“about”: {
“value”: “trvel”
}
}
}
}
PS：prefix，fuzzy，wildcard，regexp，查询的效率相对比较低，要求效率高的时候，不要使用这个

5.cardinality去重查询

去掉重复的数据，然后算出总数。
使用name.keyword，则在查询时不对name进行分词
#按姓名去重后计数,name_count是自己取的名字，对结果无影响
GET school/_search?pretty
{
“aggs”: {
“name_count”:{
“cardinality”:{“field”:“name.keyword”}
}
}
}
返回结果，去重计数展示在末尾
“aggregations” : {
“agg” : {
“value” : 9
}
}

6.聚合查询

#统计名字叫zhangfei的数据条数
GET school/_count?q=name:zhangfei
#对年龄进行范围筛选，from 大于等于，to 小于

GET school/_search
{
  "aggs":{
    "age_range":{
      "range": {
        "field": "age", 
        "ranges": [
          {
            "from": 20, 
            "to": 30
          }
        ]
      }
    }
  }
}

GET school/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 20, 
        "lt": 30
      }
    }
  }
}

#筛选喜欢旅游并且年龄在20岁以上的人数（使用去重计数，保证人未重复）

GET school/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "about": {
            "value": "travel"
          }
        }},
        {"range": {
          "age": {
            "lte": 20
          }
        }}
      ]
    }
  },
  "aggs": {
    "name_count": {
      "cardinality": {
        "field": "name.keyword"
      }
    }
  }
}

#多个聚合查询

#统计“斗地主”的消费金币和盈利金币
GET mysql_data/_search?pretty
{
  "query": {
    "term": {
      "游戏名称.keyword": {
        "value": "斗地主"
      }
    }
  },
  "aggs": {
    "sum_bet": {
      "sum": {
        "field": "消费金币"
      }
    },
    "sum_valid":{
      "sum":{
        "field":"盈利金币"
      }
    }
  }
}

7.高亮查询

将用户输入的内容，以高亮的样式展示出来，查询的结果会附带在hits下面以单独的形式返回，不会影响查询的结果

#高亮展示travel
GET school/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "about": {
            "value": "travel"
          }
        }},
        {"range": {
          "age": {
            "lte": 20
          }
        }}
      ]
    }
  },
  "highlight": {
    "fields": {
      "about": {}
    }
  }
}

返回结果中travel被高亮
在这里插入图片描述

【Elasticsearch】es 各种查询 详解
九师兄
05-16 1814
1.概述 2. 基础查询 2.1 nust查询 must 查询 （and）,所有条件都要符合 where id = 1 2.2 nust_not 查询 not操作 可以使用filter进行数据过滤 2.3 should查询 should (or) 所有条件都要符合 where id=1 or name = xx 2.4 tag查询 3.精确查询 3.1 term查询 term 查询是直接通过倒排索引指定的词条进行精确查找的。 term 查询的是倒排索引的标签。 match会使用分词器解析（先分.
最全常用正则表达式大全
刘贵庆的博客
08-11 5112
原博客地址：https://zyc88.blog.youkuaiyun.com/article/details/98479629 一、校验数字的表达式 1. 数字：^[0-9]*$ 2. n位的数字：^\d{n}$ 3. 至少n位的数字：^\d{n,}$ 4. m-n位的数字：^\d{m,n}$ 5. 零和非零开头的数字：^(0|[1-9][0-9]*)$ 6. 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$ 7. 带1-2位小数的正数或负数：^(\-)?\
正则表达式——详解
热门推荐
敲厉害的燕宝的博客
08-21 2万+
正则表达式（Regular Expression，通常简写为 regex、regexp 或 RE）是一种强大的，用于描述一组字符串的模式。，几乎所有现代编程语言都支持正则表达式的使用，包括 Java 和 JavaScript (Vue.js 应用中的 JavaScript 代码)。在实际开发中，。
Elasticsearch数据查询搜索方式详解 - 面试必备
最新发布
xiaoHangya的博客
09-06 1589
本文详细介绍了Elasticsearch的各类查询方式，包括基础查询（Match All、Term、Terms）、全文搜索（Match、Match Phrase、Multi Match）、范围查询、布尔查询、模糊查询（Fuzzy、Wildcard、Regexp）、前缀/存在性查询、地理位置查询、嵌套查询以及高级查询特性（Function Score、Script）。文章还提供了查询性能优化建议和面试常考点总结，强调合理选择查询类型和性能优化的重要性，是Elasticsearch开发者必备的查询知识参考。
C#验证字符串的长度，用正则表达式 vs 字符数组长度或字符串的长度
wenchm的博客
02-04 1490
通过字符串对象的Length属性可以有效地判断和限制用户输入的字符串长度。同理，把字符串转换成字符数组，然后计算该字符数组的长度同样可以实现此功能。比如验证用户密码不得少于8为，匹配的正则表达式"^.{8,}$"，其中.{8,}表示匹配除换行符外的8个或8个以上的字符。（2）先把字符串转换成字符数组，然后计算字符数组的长度判断；使用正则表达式可以判断和限制用户输入的字符串长度。验证2：（1）通过计算字符串的长度来判断；验证1：使用正则表达式；
（4）Elasticsearch-嵌套
allensandy的博客
05-28 627
目录 nested-嵌套 parent / child 关联的方式 ES的join有两种方式 nested parent和child关联查询 他们的区别： 由于存储结构的不同，nested和parent-child的方式有不同的应用场景 nested 所有实体存储在同一个文档，parent-child模式，子type和父type存储在不同的文档里。 所以查询效率上nested要高于parent-child，但是更新的时候nested模式下，es会删除整个文档再创建，而parent-chi...
Elasticsearch之join关联查询
星空的风fly
11-19 1万+
Elasticsearch提供了类似于SQL JOIN的关联查询，通过has_child/has_parent可以实现一对多关系的父子表数据查询。但是其损耗也是比较大的，在使用的时候要根据分片数量的多少和预估数量量级的大小，提前做好性能测试
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎，提供了强大的搜索功能。Java 可以通过 Elasticsearch 的 API 来使用这些功能。本文将介绍如何使用 Java 语言在 Elasticsearch ...
JAVA使用ElasticSearch查询in和not in的实现方式
08-26
使用Elasticsearch查询in和not in的实现方式可以满足我们各种查询需求，提高我们的开发效率和查询速度。 本文总结了使用Elasticsearch查询in和not in的实现方式，希望对大家的学习或者工作具有一定的参考价值。
应对sharding-jdbc结合mybatis实现分库分表功能 分表的联合查询采用将mysql的数据同步到elasticsearch进行筛选
07-18
应对sharding-jdbc结合mybatis实现分库分表功能 分表的联合查询采用将mysql的数据同步到elasticsearch进行筛选
ElasticSearch 如何像 MySQL 一样做多表联合查询？
hellozhxy的博客
01-03 4907
今天我们来看 Es 中的嵌套查询与父子文档，这两个东西很有来头！关系型数据库中的多表联合查询需求在 Es 中可以用它们来解决。
ES实现三表关联查询+条件过滤
lgq2016的博客
10-17 4697
很多时候mysql的表之间是一对多的关系，比如库信息表（元数据信息），表信息表（元数据信息），字段信息表（元数据信息）。ElasticsSearch（以下简称ES）处理这种关系虽然不是特别擅长（相对于关系型数据库），因为ES和大多数 NoSQL 数据库类似，是扁平化的存储结构。索引是独立文档的集合体。为了便于描述下面的demo内容，现在先介绍一下表结构demo内容(表名称：字段1，字段2，字段3......)不过ES目前毕竟发展到8.x版本了， 已经有几种可选的方式能够高效的支持这种一对多关系的映射。
Elasticsearch 连接查询
xingoo
11-19 628
在一般的关系型数据库中，都支持连接操作。 在ES这种分布式方案中进行连接操作，代价是十分昂贵的。 不过ES也提供了相类似的操作，支持水平任意扩展，实现连接的效果。 其他内容，参考Elasticsearch官方指南整理 ES中的连接 在ES中支持两种连接方式：嵌套查询 和 has_child、has_parent父子查询 嵌套查询： 文档中包含嵌套的字段，这些字段以数...
elasticsearch联表查询2
三中故人的学习笔记
07-25 1万+
原文：https://www.elastic.co/guide/cn/elasticsearch/guide/current/denormalization.html 非规范化你的数据编辑 使用 Elasticsearch 得到最好的搜索性能的方法是有目的的通过在索引时进行非规范化 denormalizing。对每个文档保持一定数量的冗余副本可以在需要访问时避免进行
关于 Elasticsearch 段合并，这一篇说透了！
铭毅天下Elasticsearch
10-10 9180
0、事出有因 您好，目前我需要将只读索引segment合并，有几个问题想要求教1、 segment是不是合并到一个最好，及max_num_segments=12、合并的时候，通过POST...
正则表达式，匹配不超过9位正整数
09-24 9904
System.out.println(Pattern.matches("(\\d{0,8}[1-9]{1})|(\\d{0,7}[1-9]{1}\\d{0,1})|(\\d{0,6}[1-9]{1}\\d{0,2})|(\\d{0,5}[1-9]{1}\\d{0,3})|(\\d{0,4}[1-9]{1}\\d{0,4})|(\\d{0,3}[1-9]{1}\\d{0,5})|(\\d{0,2}[
elasticsearch多表关联查询_Mybatis【15】 Mybatis如何实现一对一的情况多表关联查询？...
weixin_42361733的博客
01-18 902
注：代码已托管在GitHub上，地址是：https://github.com/Damaer/Mybatis-Learning ，项目是mybatis-11-one2one，需要自取，需要配置maven环境以及mysql环境(sql语句在resource下的test.sql中)，觉得有用可以点个小星星。docsify文档地址在：https://damaer.github.io/Mybati...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值