Mysql，elasticsearch 等 按时间排序中的坑

最新推荐文章于 2025-03-01 14:50:46 发布
转载 最新推荐文章于 2025-03-01 14:50:46 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/jiangzhixiong/blog/597018
文章标签：

#大数据 #数据库 #python

本文探讨了在使用Elasticsearch进行时间排序分页查询时遇到的问题——重复数据现象，并提供了解决方案：通过增加ID作为排序依据确保数据唯一性。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

上图（图片是借用别人的，只是为了说明问题），我的问题是出现在elasticsearch，修正后想到数据库是不是也会有这样的问题

174522_ZzfV_2361414.png

174522_QLHz_2361414.png

两次查询都是按照时间排序，但是分页查询后，第二页出现了第一页的数据，经查找，发现相同时间的数据在排序的时候，顺序不是一定的，就像是同样是并列第一，谁在前。谁在后都一样，但是分页的时候，这个问题就是个坑了。。。。

/(ㄒoㄒ)/~~

所以，笔者排序时加上了Id，这样时间相同时，Id是不同的，所以顺序是一致的，这样查询的数据就不会重复了。


结论：排序分页查询一定要确定数据的顺序不变，最好的方法就是排序列加上数据唯一的列！！！

转载于:https://my.oschina.net/jiangzhixiong/blog/597018

ElasticSearch 搜索、排序、分页功能
Jason World
12-12 1589
ElasticSearch 搜索、排序、分页功能
Es 索引查询排序分析
weixin_38597669的博客
06-16 2273
本文主要从doc values、fielddata、index sorting等Es特性，分析了Es排序的实现。
同事：膨胀了？Elasticsearch快就不需要调优了吗？
开发者技术前线-DevolperFront
08-10 272
点击“开发者技术前线”，选择“星标????”在看|星标|留言, 真爱转自：jianshu.com/p/883325b7bbda编辑：可可1、bool 查询的 filter 筛选众所周...
elasticsearch聚合排序不准方案分析
nengm1988的博客
02-04 463
elasticsearch进行聚合排序时，分片间是不保证能正确排序的。
关于elasticsearch排序不准问题可能的解决方案
06-12 7987
作为未使用过es新手，前两天接到排查搜索接口价格排序不准确的任务，紧锣密鼓的配好本地环境开始调试，看来看去一句排序： $params['body']['sort']['goods_price'] = ['order' => "asc"]; 也查了官方文档，没毛病啊。无奈强制转换字段类型，又是打印各种参数，折腾好久，还是没有用！ 下班吃饭时候想到mapping的数据类型，第二天回到公...
ElasticSearch的按日期排序问题
agoling的博客
03-01 4078
ElasticSearch的按日期排序问题，ES排序值相同顺序随机的问题
Elasticsearch多索引查询搜索 排序异常问题方案
洛雪
03-23 2852
Elasticsearch6.8 HighLevel方式 场景：全局搜索，综合搜索，可能有帖子，产品，文章等，要倒序，哪个发布了就在最上面显示出来 问题 在多索引全局查询时，比如设置了sourceBuilder.sort(“字段名”, SortOrder.DESC);会报错如下 Elasticsearch exception [type=class_cast_exception, reason=java.lang.Long cannot be cast to org.apache.lucene.util.
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
11-17
在本次线上 meetup 中，专家梁恩同分享了如何使用 SeaTunnel 实现从 MySQL 数据库到 Elasticsearch 的实时同步。 **SeaTunnel 的优势** 1. **多源支持**：SeaTunnel 支持多种数据源，包括 MySQL，这使得它可以广泛...
mysql数据转es_MySQL转ES(Elasticsearch)
weixin_39858298的博客
01-28 2364
京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsearch作为一款功能强大的分布式搜索引擎，支...
【大数据】MySQL与Elasticsearch的对比分析：如何选择适合的查询解决方案
最新发布
m0_74823658的博客
03-01 1165
全文检索：当数据规模较小且查询简单时，MySQL 的全文索引足以满足需求。但在大规模数据和高并发场景下，Elasticsearch 的性能更为优秀，尤其是在处理复杂查询、模糊查询时，ES 的表现更具优势。fill:#333;color:#333;color:#333;fill:none;important;important;important;important;important;important;important;important;倒排索引分词与分析MySQL全文索引性能瓶颈。
Elasticsearch 查询结果按日期进行排序
万丈⾼楼平地起，勿在浮沙筑⾼台学艺不精的安全菜鸡，改行回家养猪了，对博客有疑问欢迎留言，看到一定回
06-20 1万+
{"query": {"match": {"name": loophole}},"sort": {"发布时间": {"order": "desc"}}}
ES实现“小于XX时间”排前面（或后面）“大于XX时间”排后面（或前面）排序
Elastic开源社区
08-25 2577
比如有个字段是截止时间，如果过了截止时间，即逾期，否则未逾期。想对是否逾期排序，未逾期拍上面。这就是ES如何对不存在的逻辑字段排序问题。可以用 script 进行排序解决。
【Elasticsearch】ES精确查询和范围查询，ES时间字段排序实例，ES倒排索引介绍
wenchun001的博客
07-12 4507
【Elasticsearch】ES精确查询和范围查询，ES时间字段排序实例，ES倒排索引介绍。本文ES版本是7.X以上，之前的版本语法可能会有些差异，请注意这些比较重要的细节。问海量数据搜索时为什么ES会比较快？
ElasticsearchRepository做模糊查询+条件筛选+时间范围筛选+分页+排序的聚合查询
Dog_Z的博客
12-16 1万+
前言 在项目开发过程中遇到这样的业务需求，在网上也找了许多资料，但是都比较复杂，需要花点时间去理解，用了各种方法踩坑之后，也请教了一下大佬ES方面的相关知识，最主要还是因为刚用ES不久，所以对ES的用法，数据结构什么的，都不是很熟悉，导致花了比较长的时间去实现这个业务需求，现在就对这个聚合搜索的具体实现代码列出来，供大家参考。 正文 ES索引的Mapping { "mappings": { "properties": { "aid": { "type": "text"
Elasticsearch 如何实现按特定时间档次和相关度排序的定制查询？
铭毅天下Elasticsearch
01-15 1392
在 Elasticsearch 的使用中，我们常常会遇到各种复杂的排序需求。本文将围绕一个企业级实际场景，详细介绍如何使用 Elasticsearch 8.X 实现按特定时间档次和相关度进行排序的功能。一、问题描述假设我们有一个名为t1的索引，该索引包含以下字段：id：类型为keyword，作为唯一标识符。createTime：类型为date，格式为yyyy - MM - dd，表示文档的创建时间...
es7.6.2 head 常用查询 排序 返回指定字段 高亮查询 指定多个字段检索 时间区间查询 now函数 wildcard查询 正则查询 多条件bool查询
boss_way的博客
09-14 2045
基本查询 排序 http://localhost:9200/suoyintest3/ PSOT _search { "query": { "match": { "content": "返回" } }, "sort": { "_score": "desc" } } 开启某个字段支持 fielddata 功能 http://localhost:9200/suoyintest3/_mapping/ put { "properties": ...
ElasticSearch按插入顺序排序
goodsirlee的博客
11-29 2753
在多并发的场景下，同一秒内或是可以插入多条数据，当我们按时间进行倒序排序的时候，同一秒内的数据并不会倒着排序，那在一些业务场景内就不适用了,结果如下图： 此时我们可以增加一个条件 在每插入一条数据时，_seq_no都会自增1，所以可以使用此字段进行排序，但需要注意的是，如果对文档进行更新时，其_seq_no值也会随着更新，大家要根据自己的实际场景进行使用。一般只是使用在只进行查询分析的场景，例...
es 按照时间查询的几种格式
热门推荐
sxf_123456的博客
03-16 4万+
GET m-2fg-day/_search{ "size": 0, "query": { "bool": { "filter":[ {"term":{"2fg_year":"2017"}}, {"term":{"2fg_month":"09"}},
Canal实现MySQL与Elasticsearch的实时同步技术
MySQL和Elasticsearch之间的同步方案涉及将MySQL数据库中的数据实时更新到Elasticsearch中，以便能够进行高效的搜索操作。传统的方法包括手动同步、定时任务同步等，这些方法无法满足实时性要求高的场景。Canal提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值