elasticsearch 从 _source 与 stored_fields 获取数据不一致？

已于 2022-02-17 23:07:15 修改
阅读量1.4k 收藏 1
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch 搜索引擎 big data
于 2022-02-13 15:37:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29064815/article/details/122909447
版权

elasticsearch 从 _source 与 stored_fields 获取数据不一致？

问题

如题：elasticsearch 从 _source 与 stored_fields 获取数据不一致？

大伙都知道，使用 elasticsearch 进行数据存储的时候，查询数据会默认存储在_source中，但是若开启了 store 存储（默认关闭），那么，就可以使用 stored_fields 进行查询。

但是查询出来的数据，有时候会和预想的结果不一致，那么我们来探究一下。

探索

设置一个mapping

PUT store_test_document
{
   
  "mappings": {
   
    "properties": {
   
      "title": {
   
        "type": "text",
        "store": true 
      },
      "date":
最低0.47元/天 解锁文章
【Elasticsearch】Lucene 中的 Stored Fields 存储优化 自定义 存储类型 序列化 方式
九师兄
06-26 806
1.概述 转载：Lucene 中的 Stored Fields 存储优化 1 背景 Qunar 酒店的搜索和 suggest 是基于 Lucene 构建的，在我们的使用场景中，由于召回和排序是作为两个单独的应用，当召回的文档数量比较多的时候，响应速度较慢，Young GC 也比较严重，导致并发量很难上去。经过分析我们发现，主要的问题是因为需要获取大量文档的存储字段，造成反序列化比较多，所以影响速度，GC 也比较多。 Lucene 正常的使用场景是不期望返回这么多文档的，一般是排序完成后只返回其中一页的结果.
python es 指定id更新数据_Python Elasticsearch API操作ES集群
weixin_39813009的博客
12-16 428
环境Centos 7.4Python 2.7Pip 2.7 MySQL-python 1.2.5 Elasticsearc 6.3.1Elasitcsearch6.3.2知识点调用Python Elasticsearh APIPython Mysqldb使用DSL查询与聚合Python 列表操作代码#!/usr/bin/envpython#-*-coding:utf-8-*-#minyt...
elasticsearch _source字段的一些说明
djph26741的博客
02-24 312
_sourcefield The_sourcefield contains the original JSON document body that was passed at index time. The_sourcefield itself is not indexed (and thus is not searchable), but it is stored ...
Elasticsearch 5.0 _source field的简单认识
weixin_30673715的博客
01-11 264
前言：本文的目的是为后续磁盘空间利用优化做铺垫，主要知识点来源于官网 一、_source是什么 _source field是我们在PUT数据时候的json body： PUT store_index/my_type/1 { "title": "Some short title", "date": "2015-01-01", "content": "A very l...
Elasticsearch Fields _source 返回值字段设置
zhanlanmg的专栏
10-21 3万+
官方文档：Managing Elasticsearch Fields When SearchingElasticsearch返回值字段设置要想最大限度提高Elasticsearch的性能，控制搜索请求返回的字段数量是很重要的。在这一章，我们将讲解如何优化我们的应用，在每一个搜索结果中仅有选择地返回那些我们需要的字段。介绍在搜索中，使用参数fields允许限制每一个查询命中项（查询结果 hit）返回的
【Elasitcsearch】Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields
九师兄
09-16 907
Lucene 的 stored fields 主要用于行存文档需要保存的字段内容，每个文档的所有 stored fields 保存在一起，在查询请求需要返回字段原始值的时候使用。。例如。。用户定义的其它字段需要在 ES 的 mapping 中显示设置 field 的 store 属性为 true，该字段才会被 store。在查询的时候返回该字段的原始值。本文主要分析 stored fields 的三个流程及文件存储结构，基于 lucene 7.3.0 版本。
elasticsearch查询之三种fetch id的方案分析
无风听海
02-19 1740
一、使用场景介绍 elasticsearch除了普通的全文检索之外，在很多的业务场景中都有使用，各个业务模块根据自己业务特色设置查询条件，通过elasticsearch执行并返回所有命中的记录的id；如果命中的记录数达到数万级别的话，查询性能会有明显的下降，尤其是命中超大型的document的时候； 获取记录的id目前可以使用的有三种方式； 通过_source:[“id”] 设置_source:false,通过es返回的元数据_id分离出device的id； 使用store=true来单独的存储device
elasticsearch检索，聚合，建模，优化--《elasticsearch核心技术与实战》笔记(二)
Xjzzon的博客
07-13 712
检索相关 基于Term的查询 Term是表达语意的最小单位，在ES中，term查询，对输入不做分词，会将输入作为一个整体，在倒排索引中查找准确的词项，并且使用相关度算分公式为每个包含该词项的文档进行相关度算分。 第一个查询能查得到，第二个查询查不到。根据dynamic mapping，desc字段是text，会对文档内容进行分词器处理。所以录入iPone会在倒排索引里记录了iphone，所以能查得到。productId经过分词器处理后，会以’-'切割成一个一个字符存起来，所以term查询去找produ
【elasticsearch私房菜 | 01】又要数据迁移？两种ES数据迁移方式最佳实践保你迁移无忧，强烈推荐reindex
木子Linux的博客世界
05-21 3391
本文详细介绍采用elasticdump和reindex API工具对ES索引进行迁移，并附上项目案例中的成功实践
Elasticsearch：从搜索中获取选定的字段 fields
Elastic 中国社区官方博客
04-06 1万+
在实际的搜索返回数据中，我们经常会用选择地返回所需要的字段或部分的 source。这在某些情况下非常有用，因为对于大规模的数据来说，返回的数据大下直接影响网路带宽的使用以及内存的使用。默认情况下，搜索响应中的每个匹配都包含文档 _source，这是在为文档建立索引时提供的整个 JSON 对象。 要检索搜索响应中的特定字段，可以使用 fields 参数： POST my-index-000001/_search { "query": { "match": { "message":
Elasticsearch(030)：es中Meta-Fields(元数据类型)之概述（_routing）
瘦子没有夏天
07-01 1444
1. 概述 先说明此参数在使用一些高级的ES的特性的时候，经常用到，请认真理解。 文档在索引中利用下面的公式路由到特定的分片：shard_num = hash(_routing) % num_primary_shards，_routing字段的默认值使用的文档的_id字段。如果存在父文档，则使用文档的_parent编号。 可以通过为每个文档指定一个自定义的路由值来实现自定义的路由方式。 2. 示例与理解 mappping定义和数据插入 PUT example PUT example/docs/_ma
ES stored fields作用
m0_45406092的博客
07-28 5897
get 操作允许指定一系列的 stored 字段，这些字段将会被返回通过传递stored_fields参数。如果请求的字段没有被储存，将会被忽略。 参考以下示例： PUT twitter { "mappings": { "_doc": { "properties": { "counter": { "type": "integer", "store": false //默认值就
深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之行存（一）
码到三十五
02-04 2万+
在Lucene中索引文档时，原始字段信息经过分词、转换处理后形成倒排索引，而原始内容本身并不直接保留。因此，为了检索时能够获取到字段的原始值，我们需要依赖额外的数据结构。Lucene提供了两种解决方案：Stored Field和doc_values。Stored Field的设计初衷就是为了存储那些未经分词的字段原始值。这样，在执行查询操作时，除了能够获取到文档ID之外，我们还能够方便地检索到这些原始字段信息。es中每个文档都被视为一个JSON对象，包含多个字段。
ElasticsearchSearchAPI
Ω搬Θ砖O
08-11 382
此文档基于版本6.3 Search API 除Explain API外，其他的所有Search API都支持多索引。 GET /kimchy,elasticsearch/_search?q=tag:wow routing参数 自动选择最佳分片curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: applicat...
在elasticsearch中简单的使用script_fields
huan的学习记录
01-31 3220
在我们使用es时，有些时候需要动态返回一些字段，而这些字段是通过动态计算得出的，那么此时该如何操作呢？ 比如：我们索引中有一个sex字段，保存的是1或0，而在页面上需要展示男或女，那么这个时候就可以使用script_fields来解决。可能有些人说，我通过后台进行格式化一下不就行了吗，但是假设我们需要在kibana等可视化工具上展示呢？
ElasticSearch7.0+常用查询Json访问大全
qq_40310480的博客
08-02 3735
一、基本查询 1、分页查询 索引项有一个 index.max_result_window的配置项，默认为10000，如果分页查询的是10000条以后的数据需要修改这个配置项的值。实际中没有必要查询这么靠后的数据，可以增加检索条件获取有价值的信息。 GET students/_search { "from":100, "size":20, "query":{ "term":{ "age":5 } } } 2、sort 查询结果排序 POST /st
Elasticsearch搜索详解（三）：返回字段筛选
热门推荐
afeiqiang的专栏
10-12 3万+
添加 _source 参数，可让 ES 不返回命中文档，而只返回查询的统计，或者只返回一部分的字段。对于单个文档较大的情景特备适用。 不返回文档 GET /_search { "_source": false, "query" : { "term" : { "user" : "kimchy" } } } 返回部分字段 GET /_search {...
elasticsearch系列四：搜索详解（搜索API、Query DSL）
weixin_33911824的博客
06-22 1550
一、搜索API   1. 搜索API 端点地址 从索引tweet里面搜索字段user为kimchy的记录 GET /twitter/_search?q=user:kimchy 从索引tweet,user里面搜索字段user为kimchy的记录 GET /twitter/tweet,user/_search?q=user:kimchy GET /kimchy,elasticsearch/_...
如何用Python将Elasticsearch中的 '_source' 数据字段展开成扁平化的字典结构？
最新发布
10-28
在Python中，你可以使用Elasticsearch的`_source`属性结合`pandas`库来将`_source`数据字段从Elasticsearch查询结果转换为扁平化的字典结构。首先，你需要安装`elasticsearch`和`pandas`库： ```bash pip install ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值