es exists 与 _source,展示固定字段

最新推荐文章于 2025-02-12 16:18:09 发布
最新推荐文章于 2025-02-12 16:18:09 发布
阅读量1.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： python 数据库 java
原文链接：http://www.cnblogs.com/paopao123/p/10842898.html
本文介绍了Elasticsearch中两种实用的查询方法：exists用于筛选字段存在且非空的数据，_source用于精确控制返回的字段，如domain和md5，帮助提高搜索效率。

1.exists  仅展示存在该字段且值不为空的数据 ，用法举例

 {
　　"query": {
   　　 "bool": {
      　　"must": {
         　　 "exists":{
            　　  "field":"insert_time"
          　　}
      　　}
    　　}
  　　}
　}

2._source，展示指定的字段

只展示数据的domain和md5字段

"_source":["domain","md5"]

 

转载于:https://www.cnblogs.com/paopao123/p/10842898.html

【Elasticsearch】 es 索引 内置 字段 _source
九师兄
06-08 1355
1.概述 该字段属于索引的元数据，其中存储了文档原始的JSON内容，会被存储但不会被索引，用于执行fetch请求时返回原始数据。 当我们不需要获得任何原始数据，只需要对数据进行排序，聚合等计算，或者写入时文档id是手动指定的，通过搜索取到文档id来进一步处理，可以将"_source"设为false来节约大量的磁盘空间。 注意，禁用"_source"后会导致无法使用update，update_by_query，reindex等需要获取原始文档的API，也无法使用高亮功能。 ...
Elasticsearch中的_source字段讲解
Ven%的博客
04-21 220
source在 Elasticsearch 查询中用于限制返回的字段，类似于 SQL 中的SELECT指定列。
分布式搜索3-Elasticsearch分片、复制、读写和搜索原理（吐血整理）
小茜的博客
11-17 1242
五-1、分片的原因： 在一个搜索里存储的数据，潜在的情况下可能会超过单个节点的硬件的存储限制，为了解决这个问题，elasticsearch便提供了分片的功能。它可以将索引划分为多个分片，当你创建一个索引的时候，你就可以简单的定义你想要的分片的数量，每一个分片本身是一个全功能的完全独立的索引，可以部署到集群中的任何一个节点。分片的两个主要原因：它允许你水平切分你的内容卷，它允许通过分片来分布和并执行操作来应对日益增长的执行量。 五-2、复制replica： 网络传输的情况下，故障可能会随时发生，有一个故障恢复
Elasticsearch 7 : 查询结果只展示部分字段
qq_34412985的博客
12-19 4553
创建索引： PUT student { "mappings" : { "properties" : { "name" : { "type" : "keyword" }, "age" : { "type" : "integer" } } } } 使用 _bulk 创建文档 POST _bulk { "index" : { "_index" : "student", "_id" : "1" } }
JAVA ES只查询某个字段
weixin_34137550的博客
08-26 402
我整理的一些关于【Java】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/f2PFnN使用Java查询Elasticsearch中特定字段的步骤指南 在许多项目中，特别是涉及数据搜索和分析的项目中，Elasticsearch（ES）作为一种强大的搜索引擎，得到了广泛的使用。...
es查询时同时指定多个字段
不负长风
02-05 942
【代码】es查询时同时指定多个字段。
一文学会Java操作Elasticsearch
weixin_37337210的博客
09-26 348
前两篇对es的操作只是在开发或生产环境中排查问题需要大量使用，最常用的还是在代码中对es的增删改查，下面就来看一下。 引入依赖： 先定义一下常量： 一、TransportClient 对es的操作是通过TransportClient的，需要先创建TransportClient 二、索引 对索引的操作，是通过IndicesAdminClient进行操作的 (1)增 使用XContentBuilder设置索引的，也可以用Map或者直接是json字...
【开源社区】Elasticsearch（ES）中空值字段 null_value 及通过exists查找非空文档
Elastic开源社区
08-09 2494
字段，而此时源数据和搜索词都会被分词，如果给出了 null_value，ES 就不知道应不应该给这个 null_value 的值分词了，null_value 替换的原本就是索引数据，如果分词可能会影响搜索结果的准确性，使用户得到意想不到的结果，但是如果部分词又违背了 text 类型的设计理念和规则，因此选择了不支持。：在全文检索中，空值本来就会被作为停用词处理，在分词过程中就会被“干掉”，即便我们使用 term 做精准查询，不会被分词，空值也不会被创建索引，因此无法匹配到任何结果，这一点不同于关系数据库。
【Elasticsearch】constant_score
risc123456的博客
02-12 883
• 性能优化：过滤查询（如`term`、`range`等）通常比评分查询（如`match`、`query_string`等）更快，因为它们不需要计算相关性分数。如果未指定`boost`，则默认为`1.0`。常见的过滤查询包括`term`、`range`、`exists`等。• `boost`值：`boost`值可以用来调整匹配文档的权重，但需要注意的是，`boost`值的范围是`0.0`到`10.0`。• `filter`：使用`term`查询，匹配`user.id`字段为`"kimchy"`的文档。
elasticsearch exists方法测试
李BOY的博客
12-26 5798
问题背景 彻底搞明白ES中的exists方法到底能达到怎样的查询效果。 ES版本:6.3.1 场景1: 字段未曾设置 null_value 数据准备 当前数据库中存在了4条数据 其中 num的数据类型为 integer，不设置null_value {"title":"测试0"} {"title":"测试1","num":null} {"title":"测试2","num":0} {"tit...
ES文档字段删除与索引重建
萝卜头柯克船长的博客
09-28 6854
背景 FastJSON序列化 文档删除字段 elasticsearch删除字段 mapping 不能删除字段，只能通过重建。 文档删除字段，通过脚本更新，利用ctx._source.remove(‘fieldName’)删除。 POST waybill_exception_report/_doc/_update_by_query { "script": "ctx._source.remove('targetOperationLocation')", "query": { "bool
elasticSearch学习入门-DSL查询
热门推荐
liushangzaibeijing的博客
01-11 4万+
本篇博文主要介绍了es的核心功能--搜索（DSL查询语句）主要是以各种丰富的查询语句来讲解，比如match条件查询、term-level范围查询、bool布尔查询、以及过滤查询，主要目的是让读者熟悉DSL相关语法 建议读者收藏 便于在以后使用过程中查阅
ES之_source字段详解
09-14
Elasticsearch的source字段详解，带图说明；总结性的文档。
exists 接口
一线大码
09-07 296
文章目录GetRequest同步执行异步执行existsSource 官方文档地址：Exists 如果文档存在，则 exists API 返回true，否则返回false。 GetRequest 它像 Get API 一样使用GetRequest。支持它的所有可选参数。由于exists()只返回true或false，我们建议关闭获取_source和任何存储字段，这样请求会稍微轻一些： GetRequest getRequest = new GetRequest( "posts", //索引
es的_source ,index,store重要字段的理解！！！！！！
健康平安的活着的专栏
03-23 1万+
一._score字段 存储的原始数据。_source中的内容就是搜索api返回的内容，如： 默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字段里的内容，我们在Elasticsearch中搜索文档，查看的文档内容就是_source中的内容。另一份是倒排索引，倒排索引中的数据结构是倒排记录表，记录了词项和文档之间的对应关系。 https://www...
ES _source字段介绍——json文档，去掉的话无法更新部分文档，最重要的是无法reindex...
weixin_34348174的博客
11-08 352
摘自：https://es.xiaoleilu.com/070_Index_Mgmt/31_Metadata_source.html The_sourcefield stores the JSON you send to Elasticsearch and you can choose to only return certain fi...
es之Source字段和store字段
05-22 849
PUT /website/blog/123 { "title" : "elasticsearchshi是是什么", "author" : "zhangsan", "titleScore" : 66.666 } 在检索出数据之后，我们观察有一个_source这样的字段， 【注意】_source字段在我们检索时非常重要； Es除了将...
在表的某一字段前后批量添加字符串
二黑的博客
01-31 1873
表如下，表名：biao1，有三个字段 1、在cardid字段前面统一添加“3201” update biao1 set cardid=3201||cardid    如下图所示 2、在cardid字段后面统一添加“12” update biao1 set cardid=cardid||12    如下图所示    ...
Elasticsearch中的_source、_all、store、index
江左煤郎的博客
06-28 1844
首先要明确一份数据在进入es中之后通常是如何存储的 原始文档数据在进入es中之后，es会将其存为两份，一部分是对其中的索引字段数据进行分词索引，然后存储所有的分词索引结果，这个结果并不一定是整个文档数据（通常都指定索引部分字段）。而另一份则是原始文档数据，而该文档的所有的分词索引都会指向该文档。 1. _source的作用 _source就是指源文档的存储，你可以理解为是es将你传输的原始文档数据放在了_source字段中存储，该设置是用来控制是否存储源文档数据的，如果将该设置设置为fal.
def update_device_endtime(_id, host_id): device_time = {'host_id': host_id, 'end_time': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')} # 使用脚本更新 device 字段 doc = { "script": { "source": "if (ctx._source.device_endtime == null) { ctx._source.device_endtime = []; } ctx._source.device_endtime.add(params.new_device)", "params": { "new_device": device_time } } } es.update_one(index_name='task_info', id=_id, body=doc)如果device_endtime = {'host_id': '001', 'end_time': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')},已经存在，再更新一次，覆盖掉之前的数据怎么写
最新发布
08-02
<think>我们正在处理一个Elasticsearch更新请求，要求更新已存在的device_endtime字段数据。具体需求是：更新device_endtime对象，其中包含新的host_id和end_time，如果存在则替换。 在Elasticsearch中，更新文档通常有两种主要方式： 1. 使用Update API进行部分更新。 2. 使用Index API重新索引整个文档。 由于我们只需要更新文档中的某个字段（device_endtime），并且要求如果存在则替换，使用Update API是更合适的选择。 但是，需要注意的是，Update API允许我们通过脚本来更新文档，或者通过提供部分文档来合并更新（默认是合并，如果存在则覆盖，不存在则添加）。 根据需求，我们是要更新一个对象字段（device_endtime），这个对象包含host_id和end_time。我们想要的效果是：如果文档中已经存在device_endtime，那么我们就更新它的host_id和end_time；如果不存在，我们就创建这个字段并设置值。 在Elasticsearch中，我们可以使用以下两种方式之一： 方式1：使用doc进行更新，这种方式会合并字段。 例如： POST /index_name/_update/document_id { "doc": { "device_endtime": { "host_id": "new_host_id", "end_time": "new_end_time" } } } 这种方式会更新device_endtime对象。如果device_endtime已经存在，那么它的host_id和end_time会被更新；如果不存在，则会创建这个对象。 方式2：使用脚本更新（Painless脚本），这种方式更灵活，可以在更新时进行一些逻辑判断。 例如： POST /index_name/_update/document_id { "script": { "source": "ctx._source.device_endtime = params.new_device_endtime", "lang": "painless", "params": { "new_device_endtime": { "host_id": "new_host_id", "end_time": "new_end_time" } } } } 两种方式都可以达到目的，但通常使用doc方式更简单直观。 但是，请注意，如果我们的更新操作需要基于当前值进行一些计算，那么脚本方式会更合适。而这里只是简单的替换（或设置），所以使用doc方式即可。 另外，如果我们的文档中已经存在device_endtime对象，但可能里面还有其他字段，而我们只想更新host_id和end_time，同时保留其他字段，那么我们就不能直接覆盖整个device_endtime对象。这时，我们可以使用点符号来更新内部字段。 但是，根据问题描述，我们是要替换整个device_endtime对象（即只保留新的host_id和end_time，丢弃旧对象中可能存在的其他字段）。所以，我们直接覆盖整个device_endtime对象。 因此，我们可以使用以下请求： 请求示例： ``` POST /your_index/_update/your_document_id { "doc": { "device_endtime": { "host_id": "your_new_host_id", "end_time": "your_new_end_time" } } } ``` 注意：如果文档中原本的device_endtime对象还有其他字段（比如有一个字段叫other_field），那么执行上述更新后，other_field就会消失。这就是替换整个对象。 如果我们只想更新host_id和end_time，而保留其他已有的字段（如果有的话），那么我们就不能覆盖整个对象，而是应该分别更新这两个字段： ``` POST /your_index/_update/your_document_id { "doc": { "device_endtime.host_id": "your_new_host_id", "device_endtime.end_time": "your_new_end_time" } } ``` 这样，device_endtime对象中的其他字段（如果有）会被保留。 但是，问题要求是“replace if exists”，即如果存在则替换。这里需要明确：是替换整个对象（丢弃旧对象的所有内容，用新对象完全替代）？还是只替换指定的字段（保留旧对象中未被指定的字段）？ 根据问题描述，我们是要更新device_endtime对象，其中包含新的host_id和end_time。这里并没有提到旧对象中可能存在的其他字段该如何处理。所以，我们需要根据实际业务需求来决定。 如果业务需求是：每次更新，device_endtime对象只包含最新的host_id和end_time，那么我们就应该覆盖整个对象（即第一种方式）。如果业务需求是：只更新这两个字段，其他字段保持不变，那么就用第二种方式（点符号更新内部字段）。 由于问题描述中并没有说明旧对象中可能包含其他字段，所以我们可以假设device_endtime对象只包含这两个字段。那么两种方式都可以。但为了安全起见，如果确定这个对象只有这两个字段，那么覆盖整个对象也没有问题。 另外，如果文档中不存在device_endtime字段，那么两种方式都会创建这个字段。 因此，我们根据实际需求选择： 需求1：完全替换整个device_endtime对象（丢弃旧对象的所有内容，只保留新的host_id和end_time）： 使用： "doc": { "device_endtime": { "host_id": "...", "end_time": "..." } } 需求2：只更新device_endtime对象中的host_id和end_time字段，保留该对象中其他已有的字段（如果有的话）： 使用： "doc": { "device_endtime.host_id": "...", "device_endtime.end_time": "..." } 由于问题中说的是“update device_endtime object with new host_id and end_time, replace if exists”，这里“replace if exists”应该是指如果存在这个字段（或字段中的某个属性）就替换。所以，如果业务上device_endtime对象只有这两个字段，那么用第一种方式更简洁。如果还有别的字段需要保留，则用第二种。 在没有明确说明的情况下，我们通常按照第一种方式处理，因为这样更符合“替换整个对象”的语义。 因此，我给出第一种方式的更新示例。 此外，我们还需要注意，如果文档不存在，更新操作会失败。如果我们希望在文档不存在时进行插入，可以使用upsert功能。 例如： ``` POST /your_index/_update/your_document_id { "doc": { "device_endtime": { "host_id": "your_new_host_id", "end_time": "your_new_end_time" } }, "upsert": { "device_endtime": { "host_id": "your_new_host_id", "end_time": "your_new_end_time" }, ... // 这里还可以插入其他字段，但因为我们只更新device_endtime，所以可以只设置这个字段，但要注意，如果文档不存在，upsert会插入整个文档，所以如果其他字段是必须的，这里需要提供。但问题没有要求，所以我们只设置device_endtime。 } } ``` 但是，问题没有要求当文档不存在时进行插入，所以我们可以不设置upsert。如果文档不存在，更新操作会返回404。 总结：根据问题，我们使用Update API，通过doc进行更新，覆盖整个device_endtime对象。 请求示例（使用curl）： ``` curl -X POST "localhost:9200/your_index/_update/your_document_id" -H 'Content-Type: application/json' -d' { "doc": { "device_endtime": { "host_id": "new_host_id_value", "end_time": "new_end_time_value" } } } ' ``` 注意：将`your_index`、`your_document_id`、`new_host_id_value`、`new_end_time_value`替换为实际的值。 如果我们需要更新多个文档（根据查询条件），可以使用Update By Query API。 例如，更新所有满足某个条件的文档： ``` POST /your_index/_update_by_query { "query": { "term": { "some_field": "some_value" } }, "script": { "source": "ctx._source.device_endtime = params.new_device_endtime", "lang": "painless", "params": { "new_device_endtime": { "host_id": "new_host_id_value", "end_time": "new_end_time_value" } } } } ``` 在Update By Query中，我们使用了脚本，因为这种方式可以更灵活地处理多个文档的更新。注意，这里我们也是直接覆盖整个device_endtime对象。 但是，问题中并没有提到要更新多个文档，所以默认是更新指定文档。 最后，请根据实际情况调整索引名、文档ID和字段值。 如果更新操作需要条件判断（例如，只有满足某些条件才更新），我们可以在Update API中使用`script`来实现条件更新，但问题没有要求条件判断，所以直接使用上述简单更新即可。 因此，针对单个文档的更新，我们使用第一种方式（doc方式）即可。</think>要更新 Elasticsearch 中已存在的 `device_endtime` 对象字段（包含 `host_id` 和 `end_time`），并实现"如果存在则替换"的逻辑，可以通过以下两种方法实现： ### 方法 1：使用 Update API（推荐） ```json POST /your_index/_update/your_document_id { "doc": { "device_endtime": { "host_id": "new_host_id_value", // 新 host_id "end_time": "2023-10-25T12:00:00Z" // 新 end_time } } } ``` **特点**： 1. 如果 `device_endtime` 字段已存在，会**完全替换**整个对象 2. 如果字段不存在，会**创建**新字段 3. 支持部分更新（仅修改指定字段，无需重写整个文档） ### 方法 2：使用 Update by Query（批量更新） ```json POST /your_index/_update_by_query { "query": { "term": { "_id": "your_document_id" // 指定文档ID } }, "script": { "source": """ ctx._source.device_endtime = [ 'host_id': params.new_host_id, 'end_time': params.new_end_time ] """, "lang": "painless", "params": { "new_host_id": "new_host_id_value", "new_end_time": "2023-10-25T12:00:00Z" } } } ``` ### 关键说明： 1. **替换逻辑**：以上操作会**完全覆盖**原 `device_endtime` 对象（包括所有子字段） 2. **时间格式**：确保 `end_time` 符合 Elasticsearch 日期格式（如 ISO 8601） 3. **并发控制**：高频更新时建议添加 `retry_on_conflict` 参数解决版本冲突： ```json POST /index/_update/id?retry_on_conflict=3 ``` 4. **部分更新**：若只需更新对象内特定字段（如仅修改 `end_time`）： ```json "doc": { "device_endtime.end_time": "new_time_value" } ``` ### 验证更新结果： ```json GET /your_index/_doc/your_document_id ``` 响应将显示更新后的 `device_endtime` 对象： ```json { "device_endtime": { "host_id": "new_host_id_value", "end_time": "2023-10-25T12:00:00Z" } } ``` > **注意**：Elasticsearch 的文档更新本质是"检索-修改-重建索引"过程[^1]，对实时性要求高的场景建议结合版本控制（`version_type`）使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值