Spark integration ElasticSearch

最新推荐文章于 2024-08-25 08:29:45 发布

原创最新推荐文章于 2024-08-25 08:29:45 发布 · 443 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #elasticsearch #数据

spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何使用 Spark Streaming 从 AWS Kinesis 中读取实时数据，并通过两种方式将处理后的数据写入 Elasticsearch：一种是使用 RDD 直接写入，另一种是通过 DataFrame 方式进行写入。文章详细展示了配置参数及代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用Spark Streaming 从AWS 的kinesis (类似Kafka) 中读取streaming data, 然后通过spark 计算框架处理之后write into ElasticSearch , spark 写：数据到elasticsearch 有两种方式，下面是integration 的过程：

需要的packages org.elasticsearch:elasticsearch-spark-20_2.11 [版本spark2.0, 2.11]download

spark 写入ElasticSearch 的两种方式

rdd 直接写入ES 或者dataframe 直接写入ES：

def dataframe_write_to_es(dataframe):
    dataframe.write.format("org.elasticsearch.spark.sql")\
                           .option("es.nodes", "http://elasticsearch_domain")\
                          .option("es.port", 443)\
                          .option("es.nodes.wan.only", "true")\
                          .option("es.nodes.discovery", "false")\
                          .option("es.net.ssl", "true")\
                          .option("es.mapping.routing", "id_xxx")\
                         .save(es_index, mode="append")


def rdd_write_to_es(rdd):
 conf = {"es.nodes": "http://elasticsearch_domain", "es.port": "80", "es.nodes.wan.only": "true",
        "es.nodes.discovery": "false", 
        "es.mapping.routing": "xxx",
        "es.batch.size.bytes": "30mb", "es.batch.size.entries": "300000",
        "es.resource": index/type}   
 rdd .saveAsNewAPIHadoopFile(path='-',
      outputFormatClass="org.elasticsearch.hadoop.mr.EsOutputFormat",
      keyClass="org.apache.hadoop.io.NullWritable",
      valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable",
      conf=conf)