Spark读取ES数据之Scala版

最新推荐文章于 2024-10-29 19:28:25 发布

原创

最新推荐文章于 2024-10-29 19:28:25 发布 · 5.3k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#Spark #Scala #ES #数据获取

这篇博客介绍了如何使用Spark的Scala版读取ES数据，主要包括创建SparkSession，设置ES服务器配置，编写查询语句，通过ESSpark.esRDD方法读取数据，以及后续的数据处理步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Spark读取ES数据

因为工作需要，所以针对性学习了一波ES查询，并总结了一波?。
读取数据主要分为6个步骤

创建SparkSession对象；
同时设置conf参数，包含数据获取方式 ES服务器地址 ES端口号；
Query查询语句编写，ES的查询方式非常丰富，许多博客已存在，这里就不展示了；
通过ESSpark.esRDD方式读取数据 ，需传入三个参数；
最后就是对RDD进行操作了；

不啰嗦，直接上代码

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{SparkSession}
import org.elasticsearch.spark.rdd.EsSpark

object ReadES {

  def main(args: Array[String]): Unit = {

    val spark = SparkSession
      .builder()
      .appName("Spark Read ES")
      .master("local")
      .config("pushdown", "true")
      .config("es.nodes", "ES服务器地址")
      .config("es.port", "ES端口号")
      .getOrCreate()

    val query =
      s"""
         |{
         |    "query":{"match_all":{}},
         |    "_source":["chatMessages"]  //chatMessages是所需查询的字段，貌似没啥用
         |}