Spark插入Es如何自己设置id？

最新推荐文章于 2023-12-18 00:45:09 发布
最新推荐文章于 2023-12-18 00:45:09 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 大数据 es spark 文章标签： spark es elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangyupeng0528/article/details/109555853
版权

当我们插入向Es插入数据时，我们不自己插入id时，Es会自动帮我们生成随机id，有时候不方便我们查询，如下图：
在这里插入图片描述那么我们会想是不是在插入的时候，_id =6,就可以插入呢？**亲测不行：**请看上图 “6”会单独生成一列。
那么具体解决办法如下：其实方法很简单。我们只需要在保存Es 的索引时指定_id的映射的字段就可以了。具体如下图：
在这里插入图片描述

【实战ES】实战 Elasticsearch：快速上手与深度实践-7.1.1Spark Streaming实时写入ES
kngines
03-10 853
【实战ES】实战 Elasticsearch：快速上手与深度实践-7.1.1Spark Streaming实时写入ES
spark streaming读kafka写elasticsearch
weixin_42473019的博客
03-10 613
spark streaming作为当下依然火热的流计算引擎，对于kafka和elasticsearch都有很好的api支持，以下是笔者在实际生产环境中的一个案例。 首先说一下几个重点： kafka消费offset使用mysql保存，一开始使用了ScalikeJDBC这个包来实现对数据库的访问，后来项目里同时有clickhouse的JDBC工具类，两者之间产生冲突，所以就自己写了原生的mysql ...
Spark读写ES
upupfeng的博客
01-17 2033
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置 ES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。 以下是pom依赖，具体版本可以根据自己的es和spark版本进行选择： <dependency> <groupId>org.el...
java spark es_JavaSpark写RDD到ES时指定文档ID的
weixin_36414025的博客
02-24 632
spark版本：2.3ES版本：7.1问题描述：在通过JavaSpark写入数据到ES过程中，需要对文档id进行手动指定。在查询ES官网之后，返现官网介绍中是有次方法的：可以看到，JavaEsSpark.saveToEs该方法是有一个这样的构造方法，需要传入一个ImmutableMap参数ImmutableMap.of("es.mapping.id","id")其中"id"即为RDD中的存在的某个...
es 创建索引 指定id_简单操作elasticsearch（es版本7.6）
weixin_39616416的博客
12-21 3564
简单操作elasticsearch(es版本7.6)简单操作elasticsearch主要是指创建索引，对数据进行增删改查的操作。通常情况下我们使用es head进行这些操作，也可以通过postman或者是其它的http请求工具进行操作。1、索引管理a、创建索引(索引名称必须小写！！！)请求地址：http://localhost:9200/{IndexName}http方法：PUT参数示例：{"s...
转载之spark 写入es
qq_31866793的博客
04-26 1302
转载自https://www.icode9.com/content-4-107063.html 本文主要介绍将case class类对象写入ElasticSearch：也就是获取数据然后使用case class封装数据，然后在case class中选取一个替换当做id，但是这个长度一定数据不能重复要唯一。生成id。 准备工作 初步： 导入依赖： <dependency> ...
sap入门--sap配置参数详解
cml36113的博客
12-23 558
SAP 系统参数设置 path: /usr/sap/PRD/SYS/profile profile: PRD_DVEBMGS00_sapapp 如果您想查看所有的参数及当前设定，可使用SA38 执行程序 RSPARAM 修改附加...
spark配置elasticsearch属性汇总(基于es7)
superMario
08-19 2922
必要设置 es.resource Elasticsearch资源位置，在该位置读取和写入数据。需要格式 <index>/<type> es.resource.read（默认为es.resource） 用于读取（但不写入）数据的Elasticsearch资源。在同一作业中将数据读取和写入不同的Elasticsearch索引时很有用。通常自动设置（“ Map / Reduce”模块除外，该模块需要手动配置）。 es.rource.write（默认为es.resource） 用于写入
spark es的新增索引值（地理空间坐标）
IT_但丁的博客
08-16 888
目录一、新建Mapping二、导入ES依赖三、程序实现1、创建spark入口、创建ES客户端2、读取数据，处理前几行头信息3、提取属性值4、将坐标拼成WKT文本5、将属性拼接成对象（1） XContentBuilder 形式（2）Gson的JsonObject 形式（3）fastJson的JSONObject 形式6、关闭资源 一、新建Mapping 可以在Kibana中建好mapping，也可以在api中写好，执行程序的时候创建。 这里在Kibana已经创建好 PUT /realweather {
Spark Dataset＜Row＞写入Elasticsearch实战
一个数据小开发的博客
09-22 1308
1、前言 Spark操作数据写入es，可以参考官方案例来操作 Apache Spark support | Elasticsearch for Apache Hadoop [7.14] | Elastic 本博客，讲挑选其中的一种方法进行讲解。 2、方法 JavaEsSpark类中，提供了四大类方法把数据写入到es中。 def saveToEs(jrdd: JavaRDD[_], resource: String) = EsSpark.saveToEs(jrdd.rdd, resource
（五）ElasticSearch插入数据
chenyl
10-15 4307
分类:分为指定文档id插入、自动产生文档id插入两类。（文档id是唯一索引指，指向索引数据） 1 自己指定id 点击send，查看响应结果   查看插入得效果   点击数据浏览   2 es产生文档id   响应结果    es中查看
ElasticSearch之基本用法API
程序员蒋老湿的博客
10-03 197
著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。 索引的创建 ElasticSearch的RESTFul API基本格式： http://&lt;ip&gt;:&lt;port&gt;/&lt;索引&gt;/&lt;类型&gt;/&lt;文档id&gt; 常用HTTP动词：GET / POST / PUT / DELETE 非结构化的创建索引： 创建索引完成后，可以在概览页面中查看到分片的信息，细框的分片
spark写入es出现部分数据重复问题排查和解决
大数据开发实践者
05-25 2237
问题背景 作业流程是从hive读取数据处理后写入es，一直跑的很正常，突然今天发现部分数据重复了 问题排查 由于是长期正常运行的作业未发生变更，且排查了上游hive表不存在数据重复问题，首先排除了数据和逻辑问题 spark作业是运行成功的，不存在作业失败重试的问题 推测是spark作业内部存在失败重试的问题，于是查看了spark history job的 timeline看到下面这个图表，可以确认是由于11、13节点在写入部分数据后失败了，yarn启动了21、22重新执行导致11、13写入的数据又
ElasticSearch6.2.4(6)——ES自定义id和自动生成id
m0_67402914的博客
08-16 1778
1）自动生成的id，长度为20个字符，URL安全，base64编码，GUID，分布式系统并行生成时不可能会发生冲突。
spark rdd写入es索引报错
zlhblogs的博客
05-30 568
Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bulk operation [370/370]. Error sample (first [5] error messages): org.elasticsearch.hadoop.rest.EsHadoopRemoteException: mapper_parsing_exception: failed to parse field
Spark 写入 ES 几个注意事项
最新发布
weixin_45232029的博客
12-18 725
spark 写入 es 的几个注意事项
JAVA操作Elasticsearch指定主键_id生成策略
qq_39032110的博客
08-05 3657
Elasticsearch一共有两种主键生成策略，一个是手动指定和一个是自动生成!
es手动生成id和自动生成id
热门推荐
mn_kw的博客
09-12 2万+
1. es手动指定document id 1. 根据应用情况来说，是否满足手动指定document id的前提 一般来说，是从某些其他的系统中，导入一些数据到es时，会采取这种方式。就是使用系统中已有的数据的唯一标识，作为es中 document的id.举个例子，比如说，开发一个电商网站，做搜索功能，或者OA系统，做员工检索功能。这个时候，数据首先会在 网站系统或者IT系统内部的数据库中，会先有一...
ESTest_Doc_Insert
qq_39368007的博客
04-29 245
package com.dym.es.test; import com.fasterxml.jackson.databind.ObjectMapper; import org.apache.http.HttpHost; import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.action.index.IndexResponse; import org.elasticsearch.client.Request.
封装大数据组件：Zookeeper、ES、Spark与Hive的Java实践
3. Elasticsearch（ES） Elasticsearch是一个基于Lucene构建的开源搜索引擎，广泛用于全文搜索与复杂查询。主要概念与操作包括： - 倒排索引（Inverted Index，即反向索引）：与传统的正向索引不同，ES通过关键词到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值