当用条件查询es的时候，无法查出所有数据

最新推荐文章于 2025-10-15 21:29:43 发布
原创 最新推荐文章于 2025-10-15 21:29:43 发布 · 7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Elasticsearch查询中，默认情况下仅返回第一页的前10条数据的问题，并介绍如何通过使用scroll方法实现全量数据的有效检索。

1.es查询默认查询第一页10条数据，并且size默认最大为10000条，在不写from，size的时候默认只查询了一部分数据导致数据不完全。


2.之后改为scroll后则可以查询全部


【Elasticsearch】es keywods 类型数据 写入后查询不到
九师兄
05-31 1641
1.场景1 1.1 概述 我有个数据如下 PUT index-lcc-001 PUT /index-lcc-001/_doc/_mapping { "properties": { "srcGeoAddress":{ "type": "keyword", "ignore_above": 8191 } } } POST index-lcc-001/_doc { "srcGeoAddress":"安恒-lcc" } GET /index-lcc-001/
es复合条件查询
congge
07-14 8万+
在es中，使用组合条件查询是其作为搜索引擎检索数据的一个强大之处，在前几篇中，简单演示了es的查询语法，但基本的增删改查功能并不能很好的满足复杂的查询场景，比如说我们期望像mysql那样做到拼接复杂的条件进行查询该如何做呢？es中有一种语法叫bool，通过在bool里面拼接es特定的语法可以做到大部分场景下复杂条件的拼接查询，也叫复合查询 首先简单介绍es中常用的组合查询用到的关键词， filte...
ES 聚合分析不精准原因分析
weixin_59367598的博客
03-15 2123
es 聚合操作有误差？
ElasticSearch大概（不全，还需努力）
king_a_123的博客
11-08 660
1.ElasticSearch可以 处理上亿甚至是几十亿、几百亿的搜索问题！底层基于luncene,但是它是实时，分布式的！luncene也就几百万的搜索数据量就慢了！ 2.关系型数据库也就存储几千万数据就差不多很慢了！ 3.搜索集群基本上就是ES（ElasticSearch）！ 4.一份url对应一个资源，你只要返回一个json,或者xml格式的数据返回给我，它不依赖于我的程序是否
Elasticsearch（ES）数据写入和查询
最新发布
10-15 328
上个小节我们介绍了分片和副本，并且通过命令创建索引，在创建索引的时候定义了分片和副本，但是我们并没有向索引里面写入数据，今天我们就来介绍如何向Elasticsearch（ES）里面写入数据。
Elasticsearch Collapsing 字段折叠使用详解_字段折叠后数量结果Total不准确解决方法
胡老汉的博客
12-30 3498
在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing）的功能非常有用，在这里分享一下 前言 在电商商品中有分SKU和SPU sku是和商品的库存相关的一个概念。比如air max90、蓝色、40码的nike跑鞋，就是一个sku。你可以设置这个sku的价格、库存。 spu是标类商品的一个概念。所谓标类简单理解就是有型号的商品，比如 air max90、蓝...
ES查询当前时刻数据不准确
fox_233的博客
03-13 2606
我在查询es的时候，第一次根据时间范围（截止时间是当前时间精确到秒），查询出来100条数据，以他们的tranceid作为第二次查询的条件； 第二次查询，根据上次的100个tranceid（不约束时间范围）查询，但是结果不到100条，并且每次查询结果都不相同（不一定递增），一分钟左右后恢复正常，能查询出100条数据 我把第二次的语句打印出来去kibana去查询，也是相同的情况每次查询结果都不相同（...
ES查询数据量大, 导致查不出数据
Fuly的博客
07-28 1065
如果传参大于max_result_window 会报错,导致查询不出数据。设置 max_result_window大于或等于传参数据即可。
elasticsearch查询和分析
qq_60275529的博客
05-08 370
【代码】elasticsearch查询和分析。
Elasticsearch之DSL查询语法
博客
08-26 2457
在上一篇文章中，我们通过RestClient的Bulk操作导入了大量的hotel数据到elasticsearch，实现了elasticsearch的数据存储功能。但elasticsearch最擅长的还是搜索和数据分析。本篇文章会通过使用DSL来介绍elasticsearch的搜索功能。match和mulit_match的区别是什么？match：根据一个字段查询根据多个字段查询，建议精确查询常见的有哪些？term查询：根据词条精确匹配，一般搜索keyword类型、数值类型、布尔类型、日期类型字段。
ElasticSearch 基本查询语法
2401_89693619的博客
01-12 661
不同的是，bool 过滤可以直接给出是否匹配成功， 而bool 查询要计算每一个查询子句的 _score （相关性分值）。一个完整的例子， 请求页面耗时大于1秒的数据，upstream_response_time 是 nginx 日志中的耗时，ES中是数字类型。完整的例子，所有http的状态是 302 、304 的， 由于ES中状态是数字类型的字段，所有这里我们可以直接这么写。match查询只能就指定某个确切字段某个确切的值进行搜索，而你要做的就是为它指定正确的字段名以避免语法错误。
es怎么返回全部查询结果_Elasticsearch(ES)聚合查询的结果默认显示10条
weixin_39525307的博客
12-20 8186
对ES做一次聚合查询返回的查询结果中只显示10个词项，如何才能够将所有的词项都显示出来？{"query": {"bool": {"must": [{"range": {"passtime": {"gt": "1490976000000","lt": "1491062399000"}}}]}},"aggs": {"colors": {"terms": {"field": "crossingid"}}...
ElasticSearch 模糊查询 wildcard 的一些问题（模糊查询不精准问题）
HiBoyljw的博客
06-03 2万+
我们都知道在ES中如果我们想要实现MySQL中的like查询的时候可以使用wildcard 通配符来进行操作。其中？代表任意一个字符*代表任意的一个或多个字符。操作语句如下 #模糊查询，比如查询李世民 GET booke/member/_search {"query": { "wildcard":{ "senderName": "李*" } } } ...
Elasticsearch from+size 超过10000结果解决方法
星辉Johnson的博客
12-06 4万+
方法一： 如果需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10，  如果搜索size大于10000，需要设置index.max_result_window参数  注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。  PUT _se
【项目经验】解决ES查询只能查一万条数据问题
九离的博客
04-07 2519
【项目经验】解决ES查询只能查一万条数据问题 一、问题背景 在使用es写日志系统的时候发现es只能获取一万条日志数据, 而实际有38万多条. 使用的分页查询工具是es自带的PageRequest Query query = new CriteriaQuery(criteria); query.setTrackTotalHits(true); //先根据criteria条件中的from和to 筛选出时间范围内的数据,然后根据日期降序, query.setPagea
解决ES查询时只能查询10000条数据
susu1083018911的博客
08-26 705
解决ES查询时只能查询10000条数据
elasticsearch如何获得查询的全部结果
热门推荐
woshicheng1990的专栏
10-27 8万+
通常，在ES中使用查询时，默认返回的前10条结果，当我们一个查询有上万的结果时，我们如何获取全部数据？？虽然我们可以通过size设置查询后返回的条数。   ES的API中提供了scan和scroll，这个方法有点类型传统数据库中的游标。 方法1：直接使用es提供的scroll 第一步：向ES服务器发送如下GET请求。{}中的内容写在请求体中。其中，scroll=1m,设定sc
es 查询一次性只返回10条数据的解决办法
树呆熊的博客
01-27 9348
设置索引的max_result_window属性值，可通过post工具发送请求进行修改，调用方式如下： PUT http://ip:port/index/_settings { "max_result_window":50000000 } 截图如下： 其中：ip，port分别对应ES服务器的ip和端口号，index为要查询的索引的名称 ...
ElasticSearch添加高亮后，文本显示不全问题
qq_42292373的博客
01-20 2647
直接看代码的最后片段 public NativeSearchQuery getNativeSearchQuery(ProcessLog condition, PageParam pageParam) { Sort sortBy = Sort.by(CaseFormat.LOWER_UNDERSCORE.to(CaseFormat.LOWER_CAMEL, pageParam.getSortCondition())).descending(); SearchSourceBuil
es 查询 tags字段是一个集合 查出tags 中 有 “测试”或 ”测试02“ 的数据
06-18
<think>我们有一个需求：查询tags字段包含'测试'或'测试02'的数据根据之前的知识，tags字段是一个集合（数组），我们假设tags字段是keyword类型（因为标签通常使用精确匹配）因此，我们可以使用terms查询，它可以同时匹配多个精确值。但是，注意：用户要求的是包含'测试'或'测试02'，即两个条件满足其中一个即可。有两种方式：1.使用terms查询：直接列出多个值，只要文档的tags字段中包含其中任意一个值即可匹配。2.使用bool查询的should子句：每个条件作为一个term查询，然后放在should中（并设置minimum_should_match为1，但默认就是1）。由于是精确匹配，我们使用term级别的查询。另外，注意引用[2]中提到了使用match查询来达到类似OR的效果，但那是针对分词后的情况。而这里我们假设是keyword类型，所以用term或terms更合适。因此，我们有两种写法：写法一：使用terms将多个值放在一个数组中。写法二：使用boolshould，里面包含两个term查询。两种写法效果相同。我们以写法一为例（更简洁）：```jsonGET/your_index/_search{"query":{"terms":{"tags":["测试","测试02"]}}}```如果tags字段是text类型并且被分词了，那么我们就不能使用terms（因为terms是精确匹配），而应该使用match查询，并设置操作符为OR（但注意，分词后可能会把“测试02”分成什么？如果是中文分词器，可能会分成“测试”和“02”两个词，这样就会匹配到包含“测试”或“02”的文档，这显然不是我们想要的）。因此，我们强烈建议标签字段使用keyword类型。如果确实使用了text类型，并且想要精确匹配整个标签（即不被分词），那么我们可以使用多字段(multi-fields)特性，同时定义text和keyword类型。然后使用terms查询tags.keyword字段。例如，映射可能是这样的：```json{"mappings":{"properties":{"tags":{"type":"text","fields":{"keyword":{"type":"keyword"}}}}}}```那么查询可以写成：```jsonGET/your_index/_search{"query":{"terms":{"tags.keyword":["测试","测试02"]}}}```所以，关键取决于字段的映射类型。总结：1.如果tags是keyword类型，直接使用terms查询。2.如果tags是text类型，但有一个keyword子字段，那么查询tags.keyword。3.如果tags是text类型且没有keyword子字段，那么可能需要重建索引或者修改映射（添加子字段）才能进行精确匹配。因此，我们假设用户使用的是keyword类型，推荐第一种写法。另外，引用[1]中提到了bool查询，我们也可以使用boolshould来实现：```jsonGET/your_index/_search{"query":{"bool":{"should":[{"term":{"tags":"测试"}},{"term":{"tags":"测试02"}}]}}}```这两种方式在功能上是等价的，但terms查询更简洁。注意：terms查询对性能的影响。当terms列表很长时，可能会影响性能。但这里只有两个值，没有问题。所以，根据用户需求，我们给出两种方式，并推荐terms查询。最后，如果用户需要高亮，可以在查询中添加高亮部分，但问题中没有要求，所以暂时不写。因此，最终查询语句为（假设字段是keyword类型）：```jsonGET/your_index/_search{"query":{"terms":{"tags":["测试","测试02"]}}}```请将"your_index"替换为实际的索引名称。如果用户不确定字段类型，可以先查看索引映射：`GET/your_index/_mapping`，然后确认tags字段的类型。相关问题：1.如何查询同时包含多个标签的文档（AND条件）？2.如何查询包含至少N个给定标签中的任意M个的文档？3.如何对标签字段进行聚合统计（每个标签出现的次数）？4.当标签数量很大时，如何优化terms查询的性能？</think>要查询 Elasticsearch 中 `tags` 字段包含 **"测试" 或 "测试02"** 的数据，以下是两种推荐方案： ### 方案一：使用 `terms` 查询（推荐） ```json GET /your_index/_search { "query": { "terms": { "tags": ["测试", "测试02"] // 精确匹配多个值 } } } ``` - **适用场景**：`tags` 字段是 `keyword` 类型 - **效果**：匹配 tags 数组中包含 **任意一个指定值** 的文档 - **特点**： - 高效精确匹配（直接查询倒排索引）[^1] - 类似 SQL 的 `WHERE tags IN ('测试', '测试02')` ### 方案二：使用 `bool` + `should` 查询 ```json GET /your_index/_search { "query": { "bool": { "should": [ // OR 逻辑 { "term": { "tags": "测试" } }, { "term": { "tags": "测试02" } } ], "minimum_should_match": 1 // 至少满足一个条件（默认值） } } } ``` - **适用场景**：需要组合更复杂的查询逻辑 - **效果**：与 `terms` 查询结果相同 - **扩展性**：可轻松添加其他条件（如 `must`/`must_not`）[^1] --- ### 关键注意事项 1. **字段类型验证**： - 确认 `tags` 字段是 `keyword` 类型（非分词） - 检查映射：`GET /your_index/_mapping` - 若为 `text` 类型，需改用 `tags.keyword`： ```json "terms": { "tags.keyword": ["测试", "测试02"] } ``` 2. **中文分词场景**： - 若需匹配部分词（如 "性能测试" 中的 "测试"），需： - 安装 IK 分词器 - 使用 `match` 查询： ```json { "query": { "match": { "tags": "测试 测试02" // 空格分隔，默认 OR 逻辑 } } } ``` --- ### 查询示例说明 假设文档数据： ```json { "id": 1, "tags": ["测试", "开发"] } // 匹配 { "id": 2, "tags": ["测试02", "运维"] } // 匹配 { "id": 3, "tags": ["单元测试", "设计"] } // 仅当使用分词时匹配 ``` 两种方案均会返回 **文档1 和 文档2**。 > **最佳实践**：标签字段优先使用 `keyword` 类型 + `terms` 查询，确保精确匹配[^1][^2]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值