elasticsearch指定文档id由输入字段两个或多个以上组成

项目场景:

在使用elasticsearch时,常常会遇到需要指定文档id的场景,当文档id是由输入字段两个或多个以上组成的时候,这时候就犯了难。那么怎么处理呢?

问题描述:

文档id: 假设文档id由userid 和 queryTime组成,输入json字段属性为userid,username,queryTime,event 组成。这时候如何在不改变json字符串的基础上完成文档id由userid 和 queryTime组成的转变?

原因分析:

json字符串无法改变,elasticsearch7的特性是文档id要么默认产生要么指定文档id需要在输入内容上有特定字段进行指定。所以问题很简单了。

解决方案:

首先,和领导打个申请,申请输入elasticsearch里面的内容需要改变,需要加上一个"Lid"对应文档id,然后,嗯。。。。。。。用scala举个栗子吧。
既然元数据无法改变,而在elasticsearch中需要添加字段,那么,就加一个dataframe进行中转。
令:

val df = spark.read.format("json").option("header","true")load("file:///opt/a.json")
val newdf: DataFrame = df.withColumn("Lid",concat($"user_id",lit("_"),$"query_time"))
这一步操作就是使用mapping方法把文档id转变为指定Lid,固定写法,不要想太多,尤其是,哎呀呀,不应该是_id嘛,“_”呢,别想太多就是id。mapping是一种专门对索引进行管理的函数。还有,也别想着改,索引错了只能删库重来。
 val cfg = Map("es.mapping.id"->"Lid")
EsSparkSQL.saveToEs(newdf, "index/type",cfg)
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值