Elasticsearch内置字段_source及其在大数据中的应用

Elasticsearch _source字段在大数据中的核心应用

最新推荐文章于 2025-06-08 19:16:21 发布

后端架构魔术骑士

最新推荐文章于 2025-06-08 19:16:21 发布

阅读量129

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据 elasticsearch 搜索引擎

本文链接：https://blog.youkuaiyun.com/ByteHackerX/article/details/132573536

大数据专栏收录该内容

122 篇文章 ¥59.90 ¥99.00

订阅专栏

Elasticsearch的内置字段_source用于存储原始文档，方便检索、显示完整文档内容，数据备份、还原，以及在大规模分布式系统中的数据复制和同步。在大数据处理中，_source字段还支持数据转换和加工，是管理和处理大数据的关键。

Elasticsearch内置字段_source及其在大数据中的应用

源代码示例：

from elasticsearch import Elasticsearch

# 创建Elasticsearch客户端
es = Elasticsearch()

# 创建索引
index_name = "my_index"
mapping = {
   
   
    "properties": {

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

后端架构魔术骑士

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Elasticsearch中的_source字段讲解

Ven%的博客

04-21

261

source在 Elasticsearch 查询中用于限制返回的字段，类似于 SQL 中的SELECT指定列。

ElasticSearch中的Scirpt Score查询

冲出仁川，走出马德里，故事还会再继续

06-10

546

Painless语言是一种专门用于ES中的脚本语言，它使用了类似于Groovy的语法。ES使用了沙箱技术运行Painless，且在Painless中没有任何网络连接的功能，因此它在安全性方面是有保障的。Painless是被编译成JVM字节码后运行的，从语法上看是Java的子集。1.变量变量在使用之前必须先进性声明，其声明方式和Java保持一致。如果变量在声明时没有指定值，则使用变量类型对应的默认值。2.数据类型。

参与评论您还未登录，请先登录后发表或查看评论

【Elasticsearch】映射：详解 _source & store 字段

最新发布

Code · Cloud · Think · Repeat

06-08

1470

本文详细介绍了Elasticsearch中_source和store字段的区别与用法。_source字段默认启用，存储文档的原始JSON内容，支持完整文档检索、高亮和重新索引等操作。而store是字段级属性，单独存储特定字段，适合只需访问部分字段的场景。两者主要区别在于：_source是文档级存储，开销较大；store是字段级存储，更高效但功能有限。建议在大多数情况下保持_source启用，仅对需要频繁访问的特定字段设置store属性。合理使用这两个特性可以平衡存储开销和查询性能。

深入理解Elasticsearch的`_source`字段与索引优化

一勺菠萝丶的博客

09-07

2121

sourceElasticsearch 提供了灵活的_source配置，允许我们通过excludes来排除不需要存储的字段。这样做的好处包括节省存储空间、提高写入效率、减少网络负担，以及确保数据隐私。同时，即使字段不被存储，它们依然可以被索引，用于查询和检索。理解并合理配置_source字段，能有效优化系统性能，适应不同的应用场景需求。

elasticsearch _source字段的一些说明

djph26741的博客

02-24

332

_sourcefield The_sourcefield contains the original JSON document body that was passed at index time. The_sourcefield itself is not indexed (and thus is not searchable), but it is stored ...

Elasticsearch查询上下文和_source

qq_43676797的博客

06-30

708

在查询时候，如果不指定排序字段，默认使用相关度评分排序，评分度越高排名越靠前。和Mysql中的select指定查询的字段作用一样。结果：hits中只包含id。

Elasticsearch的元字段 (_index、_type、_source、_routing等)

hellozhxy的博客

07-21

1520

如果不指定_routing的值, 默认使用文档的_id字段. 如果存在父文档则使用其_parent的编号.// 此文档使用'user_5220'作为其路由值, 在查询、更新、删除时同样需要提供此路由值_routing"query": {

ElasticSearch 实战：ES的元字段 (_index、_type、_source、_routing等)

qq_33240556的博客

03-29

738

在Elasticsearch中，元字段（Meta-fields）是系统自动为每一份文档添加的特殊字段，它们提供了有关文档存储和检索过程中的重要上下文信息。: 每次文档更新都会增加的版本号，用于实现乐观并发控制（Optimistic Concurrency Control），确保在并发环境下进行安全的更新和删除操作。: 在执行查询时，Elasticsearch会给每个匹配文档计算一个相关度得分，这个得分存储在。实战中，这些元字段会在文档的CRUD操作中频繁出现，比如在创建文档时指定。字段中，用于排序结果。

Elasticsearch地理位置_elasticsearch location

2501_90207037的博客

01-11

782

地理距离排序可以对多个坐标点来使用，不管（这些坐标点）是在文档中还是排序参数中。使用 sort_mode 来指定是否需要使用位置集合的最小（min），最大（max）或者平均（avg）距离。这样就可以返回离我的工作地和家最近的朋友这样的结果了。

Elasticsearch-Date字段类型

qq_37107851的博客

08-21

1647

JSON没有日期数据类型，因此Elasticsearch中的日期可以是：包含格式化日期的字符串，例如“2015-01-01”或“2015/01/01 12:10:30”。表示自历元以来的毫秒数。表示自历元（配置）起的秒数。注意：自历元起的毫秒值必须为非负。使用格式化日期表示1970年之前的日期。在内部，日期转换为UTC（如果指定了时区），并存储为表示自历元起毫秒数的长数字。日期查询在内部转换为此长表示形式的范围查询，聚合和存储字段的结果根据与字段关联的日期格式转换回字符串。注意：日

【Elasticsearch】内置分词器和IK分词器

在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。

01-27

5190

Elasticsearch是一个基于Lucene的分布式、RESTful风格的搜索和数据分析引擎。它旨在快速地存储、搜索和分析大量的数据，被广泛应用于各种领域，如日志分析、电商搜索、企业内容管理等。Elasticsearch的核心优势在于其分布式架构，能够处理PB级别的数据，并提供高可用性和可扩展性。它通过将数据分片存储在多个节点上，实现数据的并行处理和容错能力。同时，提供了简单易用的，方便开发者进行数据的索引搜索和管理。

ES 10 - Elasticsearch的元字段 (_index、_type、_source、_routing等)

xiangjai的专栏

10-15

1935

目录 1 标识元字段 1.1 _index - 文档所属的索引 1.2 _uid - 包含_type和_id的复合字段 1.3 _type - 文档的类型 1.4 _id - 文档的id 2 文档来源元字段 2.1 _source - 文档原始JSON内容 2.1.1 关闭_source功能 2.1.2 查询时指定返回字段 2.2 _size - _source字段占用的字节数 3 索引元字段 3.1 _all - 文档所有字段的值 3.2 _field_names - 文档所有非

图解Elasticsearch中的_source、_all、store和index属性

weixin_34293911的博客

03-15

401

Elasticsearch中有几个关键属性容易混淆，很多人搞不清楚_source字段里存储的是什么？store属性的true或false和_source字段有什么关系？store属性设置为true和_all有什么关系？index属性又起到什么作用？什么时候设置store属性为tru...

ElasticSearch(中文检索)source总结

热门推荐

ywl470812087的博客

03-21

12万+

包含不包含这里不多讲了。 GET /lib4/user/_search { "query": { "match_all": {} }, "_source": { "includes": ["name" ,"address"], "excludes": ["age" , "birthday" ] } } 直接看看结果 { "took" : 5...

Elastic Search之Source Filtering(过滤结果中"_source"原始文本显示哪些字段)

分享传递价值

01-15

9761

之前在 elastic search之索引和文档一文中简单说到过，查询语句返回的json中的"_source"字段就是文档的全部原始json数据，里面包含每个字段及内容，但有时候我们可能不需要这么多字段，也可能只需要其中的某几个字段，并且返回全部字段有时也浪费，这个时候通过"_source"参数便可以设置需要返回哪些具体的字段，甚至是不需要返回，我们可以类比mysql的select特定字段，而不...

Elasticsearch教程：返回结果过滤 _source_includes和_source_excludes使用

hellozhxy的博客

07-20

1167

默认情况下，ES查询时返回所有字段的，但是有时，我们只想返回个别字段，或者不想返回某几个字段，这个时候就可以用到_source_includes和_source_excludes。从字面上看_source_includes就是包含的字段，_source_excludes就是屏蔽的字段。默认情况下_source=true，如果不想返回_source，需要指定_source=false。只是返回了_source里的内容，不返回_index，_type，_version等信息。"name" : "冬哥"

Elasticsearch中的_source、_all、store、index

江左煤郎的博客

06-28

1861

首先要明确一份数据在进入es中之后通常是如何存储的原始文档数据在进入es中之后，es会将其存为两份，一部分是对其中的索引字段数据进行分词索引，然后存储所有的分词索引结果，这个结果并不一定是整个文档数据（通常都指定索引部分字段）。而另一份则是原始文档数据，而该文档的所有的分词索引都会指向该文档。 1. _source的作用 _source就是指源文档的存储，你可以理解为是es将你传输的原始文档数据放在了_source字段中存储，该设置是用来控制是否存储源文档数据的，如果将该设置设置为fal.

Elasticsearch 7.0.1 账户数据文件解析

综上所述，“accounts.zip”及其内部的“accounts.json”文件不仅是简单的账户数据集合，更是理解 Elasticsearch 7.0.1 在大数据存储、高效索引、实时检索与可视化分析等方面综合应用的关键实例。它涵盖了从数据准备...