ElasticSearch操作RDD获取字段

最新推荐文章于 2022-07-25 14:27:36 发布

大数据-刘耀文

最新推荐文章于 2022-07-25 14:27:36 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： elk/ElasticSearch Spark 文章标签： ElasticSearch

本文链接：https://blog.youkuaiyun.com/weixin_42741866/article/details/87898097

本文介绍如何在Scala环境中，通过RDD与ElasticSearch进行数据交互，包括如何读取ElasticSearch的数据到RDD以及如何将RDD中的数据写入ElasticSearch，重点讨论字段操作的相关细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
import org.elasticsearch.spark._

/**
  * @Description :es操作RDD获取字段
  * @Author: lyw
  * @Date: 2019/1/16 11:04
  * @Version 1.0
  */
object ESRDDDEMO {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("esrdd")
    conf.setMaster("local")
    // 配置es配置信息
    conf.set("es.nodes","hadoop01,hadoop02,hadoop03")
    conf.set("es.port","9200")
    conf.set("es.index.auto.create","true")
    val sc = new SparkContext(conf)

    val query =
      """
         {"query":{"match_all":{}}}
      """.stripMargin

    // 输出类型中，key=每条数据对应的id，value=id对应的数据. map中的key=字段名称
    val queryRDD: RDD[(String, collection.Map[String, AnyRef])] = sc.esRDD("blog", query)

    // 将id对应的数据拿到
    val valueRDD: RDD[collection.Map[String, AnyRef]] = queryRDD.map(_._2)

    // 获取每个字段的数据
    val dataRDD: RDD[(AnyRef, AnyRef, AnyRef)] = valueRDD.map(line => {
      val id = line.getO