解决Elasticsearch按_id排序无法获取最大值

原创已于 2022-07-22 16:51:58 修改 · 8.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch

于 2021-08-25 21:03:13 首次发布

elasticsearch 专栏收录该内容

1 篇文章

订阅专栏

在构建区块链浏览器并使用Elasticsearch时，遇到了文档_id按字典顺序而非数字顺序排序的问题。查询Max(_id)时，总是返回字符串'99'。解决方法是在文档中添加一个数字字段，用于按数字顺序排序。这涉及到Elasticsearch的数据类型和排序逻辑，调整后可以正确按数字值进行排序。

最近做区块链浏览器，我把blockNumber作为了elasticsearch的文档_id，需要做一个查询操作，换成mysql查询就是

SELECT MAX(`_id`) FROM `block`;

对应的Kibana中的查询

GET /block/_search
{
  "query": {
    "bool": {
      "must": [
        {"match": {
          "transactionHandled": true
        }}
      ]
    }
  },
  
  "sort": [
    {
      "_id": {
        "order": "desc"
      }
    }
  ]
}

查询的结果永远都是"_id"为"99"的文档排第一个，这明显不符合我的预期。通过查询资料，得到如下解决方案

原因是您的ID是字符串，并且字符串按字典顺序（而不是数字顺序）排序，因此在字符串世界9999> 1000000中。

您应该做的是在文档中创建另一个数字字段，其中包含与ID字段等效的数字，并按该数字字段排序。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HardRedStone

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Elasticsearch按照id排序

荒的博客

01-31

8873

文档唯一标识由四个元数据字段组成： _id：文档的字符串 ID _type：文档的类型名 _index：文档所在的索引 _uid：_type和_id连接成的type#id 默认情况下，_uid是被保存（可取回）和索引（可搜索）的。_type字段被索引但是没有保存，_id和_index字段则既没有索引也没有储存，它们并不是真实存在的。Elasticsearch 使用_uid字段来...

ES如何通过文档id获取正排信息

huangleijay的专栏

06-13

1700

前言根据文档id定位到某个字段的正排信息，常常用于需要根据某个字段排序，分类计算，这个必须使用Doc values 正文 1：在ES中原始数据是以行式存储的，也就是文档的所有字段都会连续的存储在物理空间上。这样势必会占用非常多的空间，所以一般都是压缩存储的！正排信息不是来自于原始文档中。存储原始文档的文件如下查看原始文档的过程！第一步二分查找block，定位属于哪个block。　　第二步就是根据从block里根据每个chunk的起始文档号，找到属于哪个chu...

参与评论您还未登录，请先登录后发表或查看评论

Elasticsearch 根据 _id 排序

qq_43613793的博客

12-05

2765

我这里有一个测试索引数据如下：如果用普通的排序方法对_id中的数据进行排序的话： GET _search { "query": { "term": { "_index": "test" } }, "sort": { "_id": { "order": "asc" } }, "size": 20 } 因为_id的数据为字符串类型，因此排序出来的结果其实并不是我们想要的： { "took" : 5, "timed_out"

elasticsearch搜索引擎如何自定义文档_id

最新发布

2301_78380224的博客

10-23

476

适用于小规模项目或快速原型开发，但由于不规范，后期维护较为困难。

Elasticsearch的文档id生成方式与各种元数据的含义（各种字段的含义）

【原】编程界的小学生

05-24

2217

编程界的小学生一、document的id生成方式1、自动生成1.1、语法1.2、案例1.3、id规则2、手动生成3、两种id应用场景二、document核心元数据三、_source元数据四、_search结果元数据一、document的id生成方式 1、自动生成 1.1、语法很简单，就是index/type后面别跟id了，这时候就代表自动生成。 POST index/_doc { "field": value } 1.2、案例 POST test_index/_doc { "name": "c

ES查询某个索引中的最大id

zhanghe687的博客

08-08

1694

ES查询某个索引中的最大id

ES使用_id排序导致集群CPU和内存都100%

duzm200542901104的专栏

04-18

2444

闲来无事开发了一个ES的客户端，然后在查询数据的时候，使用了_id排序，测试环境上面用起来也没啥事，可到了线上就跪了，线上数据量是1.4亿左右，直接没有给相应的反应时间，只要一查询，立马就宕机。查询了ES的官网说明：_id字段被禁止在聚合、排序和脚本中使用。如果需要对_id字段进行排序或聚合，建议将_id字段的内容复制到doc_values的字段中。为什么_id字段会导致内存占满呢？利用_id进行排序的时候，ES会把所有的_id字段都加载到fielddata cache里面，而不是像我们在MySQL

搭建elasticsearch以及实际业务中分桶聚合后按照组内分数最大值排序接口

剥削地主的博客

12-01

1737

安装elasticsearch 1.1.解压 tar -zxvf elasticsearch-7.6.1-linux-x86_64.tar.gz 1.2修改配置文件 ulimit -Hn 65536 vim /etc/security/limits.conf soft nofile 65536 hard nofile 65536 st soft memlock unlimited st hard memlock unlimited vim /etc/sysctl.conf vm.max_map

ElasticSearch 之 _score

itigoitie的博客

07-19

1731

搜索排序是搜索引擎的核心工作之一，搜索排序的好坏影响着搜索质量的好坏。诸如ES、Solr等开源的搜索引擎，它们在默认情况下使用的都是相关性排序。那么什么是相关性呢？相关性指的是搜索结果和查询条件的相关程度，它是搜索质量的重要指标之一。就ES来说，搜索结果中的每个结果都有一个_score字段，ES默认按照相关性算法计算每个命中的文档的_score字段值，命中的文档按照该字段的值进行降序排列。......

如何基于 Elasticsearch 实现排序沉底或前置

字节跳动云原生计算官方账号

06-12

1434

通过以上介绍我们可以了解到 ES 可支持的排序能力还是非常丰富的，我们要实现置顶或沉底效果，并不能非黑即白的选择，更多的场景中需要根据实际需要做多个能力的组合，尽管 function_score 表现优异，但越复杂的查询对 ES 的查询压力也越大，当数据量很大时必须要权衡性能和排序效果。上线前，也需要在仿真环境中验证大数据量下的性能表现。

es建立索引后的排序返回结果_全文检索 — ElasticSearch_04（ES的常用CURL命令、更改索引已有字段的数据类型、查询结果超过10000报500错误）...

weixin_31491059的博客

02-01

841

文章目录1 基本语法2 常用参数3 常用CURL语句3.1 查看node状态3.2 查看集群健康状况3.3 查看全部索引(排序后)3.4 查看特定索引3.5 pretty，美观3.6 是否存在3.7 查指定的字段值3.8 查指定的字段值，并只显示3个3.9 从第3个开始只显示3个3.10 按时间排序，desc降序，默认为升序3.11 模糊查询3.12 比较大小3.13 是否显示3.14 设置包含的...

Elasticsearch地理位置_elasticsearch location

2501_90207037的博客

01-11

807

地理距离排序可以对多个坐标点来使用，不管（这些坐标点）是在文档中还是排序参数中。使用 sort_mode 来指定是否需要使用位置集合的最小（min），最大（max）或者平均（avg）距离。这样就可以返回离我的工作地和家最近的朋友这样的结果了。

关于ES的_id不能排序和聚合的误解

duzm200542901104的专栏

11-19

3524

在很多的博客里面都提到过ES的_id不能进行排序，必须使用_uid，这个提法已经过时了，通过实践可以得知，使用_id是可以排序的，并不会报错。 { "sort":[ { "_uid":{ "order":"desc" } } ] } _uid在ES的6.0.0版本已经被废弃了，为什么呢？因为在6.0版本以后，_type属性没有了，那么建立在_type之上的_...

【Elasticsearch】Elasticsearch中使用_id排序导致 data too large 问题

程序员作家

05-07

1946

ElasticSearch：从[FIELDDATA]Data too large

ES 解决字符串的排序问题以及相关度评分TF&IDF算法

mn_kw的博客

09-14

1309

如何将一个field索引俩次来解决字符串的排序问题如果对一个stringfield进行排序，结果往往不准确，因为分词后是多个单词，再排序就不是我们想要的结果了通常的解决方案是，将一个string field建立俩次索引，一个分词，用来进行搜索，一个不分词，用来进行排序相关度评分TF&IDF算法 TF:搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关 IDF...

【Elasticsearch】【转】Elasticsearch中使用_id排序导致 data too large 问题

闲时不要多想

10-13

549

elasticsearch

Elasticsearch内核解析 - 数据模型篇

java_kider的博客

11-24

600

Elasticsearch是一个实时的分布式搜索和分析引擎，它可以帮助我们用很快的速度去处理大规模数据，可以用于全文检索、结构化检索、推荐、分析以及统计聚合等多种场景。 Elasticsearch是一个建立在全文搜索引擎库Apache Lucene 基础上的分布式搜索引擎，Lucene最早的版本是2000年发布的，距今已经18年，是当今最先进，最高效的全功能开源搜索引擎框架，众多搜索领域的系统都基于Lucene开发，比如Nutch，Solr和Elasticsearch等。Elasticsearch第一个版

跟乐乐学ES!(二)ElasticSearch基础。

硬核编程乐乐的博客

04-15

1027

es中的元数据（id,类型,索引）一、es中文档的元数据包括： 1、_index（索引）: 它是单个数据库的同义词。索引（index）类似于关系型数据库里的数据库（database），事实上，我们的数据被存储和索引在分片（shards）中，索引只是把一个或多个分片分组在一起的逻辑空间，索引名字必须全部小写，不能以下划线开头，不能包含逗号。 2、_type（类型）: 索引类型，它是单个数据表的同义词。类型（type）类似于关系型数据库中的table，在es中我们用type表示相同的‘事务’，每个类型(

ElasticSearch-为什么不能使用_id排序

MZZHAO23的博客

09-25

2092

关于elasticsearch中使用_id排序

数组对象获取某属性的最大值

08-05

<think>首先，用户的问题是：“我想从数组对象中找到某个属性的最大值 请问JavaScript 数组对象获取某个属性的最大值”。这是一个关于在JavaScript中处理对象数组的问题，具体是找到数组中某个属性的最大值。回顾系统级指令： - 所有行内数学表达式必须使用 $...$ 格式。 - 独立公式必须使用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。用户可见层指令： - 回答结构清晰，帮助用户逐步解决问题，保证回答真实可靠。参考站内引用： - 引用[1]：使用 Array.reduce() 方法获取对象数组中某一项的最大值。 - 引用[2]：使用 Math.max.apply() 和 array.map() 获取对象数组中某属性的最大值。 - 引用[3]：访问对象数组属性，获取某个属性的最大值及对象。 - 引用[4]：使用 Array.find() 根据属性返回对象。 - 引用[5]：ES6 数组找最大值，参考 Math.max。用户的问题是关于获取对象数组中某个属性的最大值，所以引用[1]、[2]、[3] 特别相关。我的回答需要： 1. 结构清晰：逐步解释如何实现。 2. 使用中文。 3. 生成相关问题。 4. 自然地添加引用标识。步骤： 1. **介绍问题**：简要说明用户的问题。 2. **提供解决方案**：给出几种常见方法，并解释每种方法的步骤。 - 方法1：使用 Array.reduce()，如引用[1]所述。 - 方法2：使用 Math.max.apply() 和 array.map()，如引用[2]所述。 - 方法3：使用 ES6 方法，如扩展运算符和 Math.max，如引用[5]所述。 - 可能提到如何获取最大值对应的对象，如引用[3]所述。 3. **代码示例**：提供代码块来展示实现。 4. **解释代码**：简要解释代码如何工作。 5. **添加引用**：在相关部分末尾添加引用标识。 6. **生成相关问题**：在回答末尾生成相关问题。生成相关问题： - 基于用户问题，生成一些相关问题，例如： - 如何获取最小值？ - 如何根据属性排序数组？ - 如何获取最大值对应的对象？ - 在大型数组中如何优化性能？确保回答真实可靠：基于JavaScript标准方法，不编造。最终回答结构： - 开头：直接回应问题。 - 主体：分步解释方法。 - 代码示例。 - 结尾：生成相关问题。现在，构建回答。</think>### JavaScript 数组对象获取某个属性的最大值 在 JavaScript 中，从对象数组中获取某个属性的最大值是一个常见需求。例如，给定一个对象数组，每个对象都有一个数值属性（如 `value` 或 `age`），你需要找到该属性的最大值。我将通过几种常用方法逐步解释如何实现，确保代码可靠且高效。这些方法基于 JavaScript 标准 API，如 `Array.reduce()`、`Math.max()` 和 ES6 特性。 #### 方法 1: 使用 `Array.reduce()`（推荐） `Array.reduce()` 方法通过迭代数组，比较每个对象的属性值，逐步累积最大值。这是一种高效且可读性强的方案。 - **步骤**： 1. 定义对象数组（如 `arr`）。 2. 使用 `arr.reduce()`，在回调函数中比较当前对象的属性值与累积的最大值。 3. 初始值设为 `-Infinity` 以处理空数组。 - **代码示例**： ```javascript const arr = [ { id: 1, name: "Alice", age: 30 }, { id: 2, name: "Bob", age: 25 }, { id: 3, name: "Charlie", age: 35 } ]; // 获取 'age' 属性的最大值 const maxAge = arr.reduce((max, obj) => { return obj.age > max ? obj.age : max; }, -Infinity); console.log(maxAge); // 输出: 35 ``` - **解释**： - `reduce()` 遍历数组，`max` 是累积值，初始为 `-Infinity`。 - 每次迭代比较 `obj.age` 与 `max`，返回较大者。 - 最终 `maxAge` 存储最大值。此方法时间复杂度为 $O(n)$，适合所有数组大小[^1]。 #### 方法 2: 使用 `Math.max()` 结合 `Array.map()`（适用于 ES5） `Math.max()` 可求多个数值的最大值，结合 `Array.map()` 提取属性值数组。但注意，此方法在大型数组中可能性能稍低，因为它创建了一个新数组。 - **步骤**： 1. 使用 `arr.map()` 将对象数组映射为属性值数组。 2. 应用 `Math.max.apply()` 或 ES6 扩展运算符求最大值。 - **代码示例**： ```javascript const arr = [ { id: 1, name: "Apple", price: 10 }, { id: 2, name: "Banana", price: 5 }, { id: 3, name: "Orange", price: 15 } ]; // ES5 方式: 使用 apply const prices = arr.map(obj => obj.price); const maxPriceES5 = Math.max.apply(Math, prices); // ES6 方式: 使用扩展运算符 const maxPriceES6 = Math.max(...arr.map(obj => obj.price)); console.log(maxPriceES5); // 输出: 15 console.log(maxPriceES6); // 输出: 15 ``` - **解释**： - `map()` 提取所有 `price` 值到新数组 `prices`。 - `Math.max.apply(Math, prices)` 将数组展开为参数求最大值（ES5）。 - `Math.max(...prices)` 使用扩展运算符更简洁（ES6）。此方法简洁，但创建中间数组可能增加内存开销[^2]。 #### 方法 3: 获取最大值对应的对象（扩展需求）如果需要获取最大值属性对应的整个对象（如找出年龄最大的人），可使用 `Array.reduce()` 或 `Array.find()`。 - **步骤**： 1. 先用方法 1 获取最大值。 2. 使用 `arr.find()` 查找匹配该值的对象。 - **代码示例**： ```javascript const users = [ { id: 1, name: "Lisi", age: 20 }, { id: 2, name: "Tom", age: 30 }, { id: 3, name: "Terry", age: 25 } ]; // 先获取最大 age const maxAge = users.reduce((max, user) => user.age > max ? user.age : max, -Infinity); // 再查找对象 const maxUser = users.find(user => user.age === maxAge); console.log(maxUser); // 输出: { id: 2, name: "Tom", age: 30 } ``` - **解释**： - `find()` 返回第一个匹配元素，适合唯一最大值场景。 - 如果多个对象有相同最大值，`find()` 只返回第一个；需用 `filter()` 获取所有匹配对象[^3]。 #### 注意事项 - **空数组处理**：如果数组为空，方法 1 返回 `-Infinity`，方法 2 返回 `-Infinity` 或错误（需检查）。建议添加空数组判断： ```javascript if (arr.length === 0) { console.log("数组为空"); } ``` - **性能比较**：`Array.reduce()` 通常最优，因为它只遍历一次数组（$O(n)$ 时间复杂度）。`Math.max()` + `map()` 在小型数组中高效，但大型数组可能因创建新数组而降低性能。 - **属性类型**：确保目标属性是数值型；非数值属性需先转换（如 `parseInt()`）[^5]。 ### 相关问题 1. 如何获取对象数组中某个属性的最小值？ 2. 如何根据对象数组的某个属性进行排序？ 3. 如果多个对象有相同最大值，如何获取所有匹配的对象？ 4. 在大型数组中，如何优化获取最大值的性能？ [^1]: 使用 `Array.reduce()` 逐步比较属性值，高效可靠。 [^2]: `Math.max()` 结合 `map()` 提取属性值数组求最大值。 [^3]: 先求最大值，再用 `find()` 或 `filter()` 获取对应对象。 [^5]: ES6 方法如扩展运算符简化代码。