hive映射elasticsearch nested复杂数据类型，读取elasticsearch _id字段

最新推荐文章于 2024-06-29 15:34:50 发布
原创 最新推荐文章于 2024-06-29 15:34:50 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive读取es嵌套数据类型

本文介绍了如何在Hive中映射Elasticsearch的Nested复杂数据类型，并读取_Es_id字段。通过创建带有es-hadoop的Hive外部表，详细展示了表结构和映射配置，特别强调了id字段作为增量同步基础和处理多层Nested结构的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

先简单写一下，列出关键的部分，es的nested数据结构如何在hive中做映射，es-hadoop的jar包当然要包括在hive的classpath中，就不多说。
这是es的索引结构，略去了不必要的内容
{
  "mappings": {
    "doc": {
      "properties": {
        "MotorVehicleID": {
          "type": "keyword"
        },
        "InfoKind": {
          "type": "integer"
        },
        ............
        "RightBtmY": {
          "type": "integer"
        },
        "MarkTime": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis||epoch_second"
        }
        "LaneNo": {
          "type": "byte"
        },
        ............
        "BrandReliability": {
          "type": "keyword"
        },
        "SubIma

最低0.47元/天 解锁文章

200万优质内容无限畅学
同步数据Hive到ES-支持复杂类型
weixin_41367158的博客
03-05 117
注：为避免后续报错，需要另一个jar包-commons-httpclient-3.1.jar,并上传到hdfs目录下：/user/hive/warehouse/es_hadoop。‘es.batch.size.entries’=‘10000’ ----每批次条数设置。‘es.batch.size.bytes’=‘10mb’ --批次大小设置。‘es.write.operation’=‘upsert’ --更新插入。.jar(根据自身es版本下载)第四步：ES查看数据。
es和hive外部表映射
qq_34009542的博客
08-25 1138
CREATE EXTERNAL TABLE `dws.外表name`( `id` string COMMENT 'from deserializer', `create_by` string COMMENT 'from deserializer', `create_at` timestamp COMMENT 'from deserializer', `update_by` string COMMENT 'from deserializer', ...
ES复杂类型数据同步到HIVE数仓
欲望以提升热忱 毅力以磨平高山
06-29 1535
有很多种情况下需要将ES的数据同步到hive数仓中进行分析，在此记录下在此过程中遇到的问题。 1、环境说明 ES Version: 7.2.1 Hadoop Version: 3.0.0 elasticsearch-hadoop-7.2.1.jar 2、ES的数据示例 "time" : "2020-06-28T00:24:55+0800", "documentId" : "d458d964-1b92-45da-8aff-0ae57331310d", "les
hive数据写入elasticsearch
weixin_34081595的博客
11-14 617
2019独角兽企业重金招聘Python工程师标准>>> ...
hive映射Elasticsearch时间date类型问题
ShiHao_Li的博客
08-05 1114
hive映射Elasticsearch时间date类型问题 hive映射es时间date类型出现问题，需要自定义类读取时间类型，如下： 1.建立hive与es映射表 CREATE EXTERNAL TABLE `hive_es_dt_basic4_20210724_02`( `id` string COMMENT 'from deserializer', `country` string COMMENT 'from deserializer', `regstatus` string COMM
项目实战——将Hive表的数据直接导入ElasticSearch
LXWalaz1s1s的博客
08-18 5064
背 景   应业务需求，要实现针对某产品的挑选搜索功能，决定采用ElasticSearch（以下简称ES）作为后端搜索引擎服务，然后将符合条件的结果在ES搜索出来反馈给前端展示，但是我的基础数据都是存在数据仓库的Hive表内，这就面临一个问题，如何将Hive表的数据直接导入到ES内；   查阅官网，确定这个步骤想法的可行性,官网的例子相对简单，没涉及到复杂数据类型以及嵌套结构，我也是结合官网例子，再根据ES的特性和走了很多弯路才成功了，最后直接单纯用SQL语句就搞定了，没有写任何Java/python代码就
Hive 集成 ElasticSearch
XXXL___Huo的博客
08-03 974
hive建立映射表，将批量数据写入es
hive中定义的复杂数据类型导入到es中问题总结.doc
03-05
### Hive中的复杂数据类型导入至Elasticsearch (ES) 的问题总结 #### 一、背景介绍 在大数据处理领域，Apache Hive 和 Elasticsearch (ES) 是两种非常重要的工具。Hive 主要用于对存储在 Hadoop 文件系统 (HDFS) 中...
hive-es系列第一篇: es嵌套数据写入hive
qq_25278637的博客
11-27 1546
一、背景介绍: 如上图所示，公司展示的实际控制人是使用工商投资关系，通过spark程序进行股权穿透计算后得到的结果，结果是直接写入到es的，es的结构如下图： 再拿es中的一条具体数据来看看，如下图： 可以看到es中有三个属性，分别是target_id, links,nodes,其中target_id是一个正常的string字段，links和nodes都是嵌套的json数组。 二、问题描述 因为实际控制人的数据是直接使用spark算法写入es的，后来需要用这个数据来进行一些其他逻辑的加工，所以首先
hive2elasticsearch
LotusYu_blog
11-02 742
申明：这个是自己在用到这个插件时碰到的一点坑坑，有不同意见的，敬请告知，欢迎讨论。 一，Hive向ElasticSearch中写数据（基于elasticsearch-Hadoop的6.4.0.jar） 1.引入的jar包       将elasticsearch-Hadoop的6.4.0.jar导入hive的jar包目录下或者hive的auxlib下      add jar /opt/ap...
通过Hive将数据写入到ElasticSearch
weixin_30781631的博客
02-18 688
我在《使用Hive读取ElasticSearch中的数据》文章中介绍了如何使用Hive读取ElasticSearch中的数据，本文将接着上文继续介绍如何使用Hive将数据写入到ElasticSearch中。在使用前同样需要加入 elasticsearch-hadoop-2.3.4.jar 依赖，具体请参见前文介绍。我们先在Hive里面建个名为iteblog的表，如下： CREATE EXTE...
Elasticsearch和Hive整合，将hive数据同步到ES中
热门推荐
涂作权的博客
10-17 1万+
1 Elasticsearch整合Hive 1.1 软件环境 Hadoop软件环境 Hive软件环境 ES软件环境 1.2 ES-Hadoop介绍 1.2.1 官网 https://www.elastic.co/cn/products/hadoop 1.2.2 对 Hadoop 数据进行交互分析 Hadoop 是出色的批量处理系统，但是要想提供实时结果则颇具挑战。为了实现真正的交互式数据探索，...
hive导入es的数组字段类型
qq_39188660的博客
03-23 1278
es和hive之间的array交互es的索引建立hive的表建立和导入es es的索引建立 在我使用的过程中感觉es的数组其实就是string的多条语句，不需要特意的去定义字段类型的数组定义 hive的表建立和导入es hive的临时汇总数据表建立我尝试使用了压缩的文件类型的报错了，不知道为什么，所以使用了txt的建表文件类型。 create table lable_info_array( p...
HIVE到ES的映射，以及ES的基本操作
ganghaodream的博客
09-17 6118
ES的基本操作：（新建，增，删，改，查） 1.创建索引：（以饱和度算法模型为例子：这个是我做的项目名字） PUT /clue_strategies_clue_saturation/ { "mappings": { "clue_saturation": { "properties": { "uid": { "type":...
【ES】--Elasticsearch的Nested类型介绍
寻梦友的博客
06-29 2967
当字段是普通数组类型，其实在ES中，每个对象元素的属性值被扁平化存储在了数组中，已丢失了对应关系，因此无法保证搜索的准确。：在实际项目中，一些数组存储的字段，根据匹配条件去查询经常会查询到一些“其他不需要”的数据，为什么会出现这种情况？：word_one是普通数组List，多个must匹配条件会匹配整个List数组数据，而不是每个Bean去匹配。通过key，value形式去更新对应数组节点的数据，如果nested数组多个被匹配，都会被修改。通过高亮显示可以看出，只会匹配第一项数据。
Hive集成ElasticSearch
fengfengzai0101的博客
07-28 609
环境 操作系统：Centos7 集群：CDH5.16.2 安装 将elasticsearch-hadoop.jar添加到hive的classpath路径中 方法1（此方法支持HDFS路径） add jar /path/elasticsearch-hadoop.jar; 方法2（使用配置） bin/hive -hiveconf hive.aux.jars.path=/path/elasticsearch-hadoop.jar 方法3（使用hive-site.xml配置文件） <property&
hive：与es交互：hive on es（外联表）
不花的花和尚的博客
11-01 5992
hive整合es，通过建外联表做映射，数据实际存储在es。注意：hive建内部表时数据存储在hdfs，与es建外联表时，数据存储在es里。 创建表语句demo： CREATE EXTERNAL TABLE `es.test`( `id` string, `keyword` string, `tenderId` bigint, `update_time` string, ...
ElasticSearch之Mapping设置
pizicai007的博客
02-13 804
ElasticSearch 中的 Mapping 类似与数据库中的表结构定义。Mapping 中的字段类型一旦设定后，禁止直接修改，原因是Lucene 实现的倒排索引生成后不允许修改，如果非要更改，只能重新建立索引，然后做 reindex 操作。Mapping 主要作用如下： 定义 Index 下的字段名； 定义字段的类型，如数值型，字符串型，布尔型； 定义倒排索引相关的配置，如是否索引，记...
hive映射es
ShiHao_Li的博客
07-06 1225
hive映射es 1.再hive中建里映射表 CREATE EXTERNAL TABLE `hive_es_dt_basic4_id`( `id` string COMMENT 'from deserializer', `country` string COMMENT 'from deserializer', `regstatus` string COMMENT 'from deserializer', `districtcode` string COMMENT 'from deser
seatunnel 入库es nested
最新发布
06-28
要使用 Apache SeaTunnel 将数据导入 Elasticsearch，并处理嵌套（nested）数据类型，需要在 SeaTunnel 的配置文件中正确设置数据结构和目标索引的映射关系。Elasticsearch 中的 `nested` 类型用于处理嵌套 JSON 对象，这些对象需要独立于父文档进行查询。 ### 配置步骤 1. **定义 Elasticsearch 索引映射** 在向 Elasticsearch 写入数据之前，确保已经创建了包含 `nested` 类型字段的索引映射。例如： ```json PUT /my_index { "mappings": { "properties": { "user_code_info": { "type": "nested", "properties": { "user_id": { "type": "keyword" }, "code_type": { "type": "keyword" }, "channel": { "type": "keyword" } } } } } } ``` 这个映射定义了一个名为 `user_code_info` 的嵌套字段，其中包含了三个子字段：`user_id`、`code_type` 和 `channel`[^1]。 2. **配置 SeaTunnel 数据源与转换逻辑** 在 SeaTunnel 的作业配置文件中，需要指定数据源（如 Kafka、Hive、JDBC 等），并对数据进行必要的转换以匹配 Elasticsearch 的嵌套结构要求。假设原始数据是扁平化的格式，可以通过 `map` 或 `json` 函数将其转换为嵌套结构。 以下是一个示例配置片段： ```hocon env { execution.parallelism = 1 } source { # 假设数据来自 Kafka kafka { topic = "input-topic" bootstrap.servers = "localhost:9092" result_table_name = "kafka_source" } } transform { # 使用 SQL 转换数据，构建嵌套结构 sql { query = "SELECT user_id, code_type, channel, MAP('user_id', user_id, 'code_type', code_type, 'channel', channel) AS user_code_info FROM kafka_source" } } sink { elasticsearch { hosts = ["http://localhost:9200"] index = "my_index" document_type = "_doc" username = "elastic" password = "your_password" # 指定嵌套字段的写入方式 bulk_action = 1000 flush_interval_ms = 1000 } } ``` 3. **验证数据写入** 完成上述配置后，启动 SeaTunnel 作业并检查 Elasticsearch 中的数据是否符合预期。可以使用 `_search` API 查询嵌套字段： ```json GET /my_index/_search { "query": { "nested": { "path": "user_code_info", "query": { "bool": { "must": [ { "match": { "user_code_info.user_id": "12345" }} ] } } } } } ``` ### 注意事项 - **嵌套字段的查询**：由于 `nested` 类型字段不能直接通过普通查询访问，必须使用 `nested` 查询语句来检索数据。 - **性能优化**：嵌套字段会增加索引和查询的开销，因此应谨慎使用，仅在确实需要时才启用。 - **数据一致性**：确保 SeaTunnel 输出的数据结构与 Elasticsearch 映射定义保持一致，否则可能导致写入失败或数据丢失。 通过以上步骤，可以在 SeaTunnel 中实现对 Elasticsearch `nested` 类型字段的支持，并有效地处理复杂的数据结构。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值