Spark将数据写入ElastichSearch

最新推荐文章于 2022-08-24 05:44:38 发布

wx_Jum

最新推荐文章于 2022-08-24 05:44:38 发布

阅读量416

点赞数

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/weixin_44327656/article/details/97266256

版权

Spark 专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍如何使用Spark连接Elasticsearch，包括依赖导入、配置参数及数据写入操作。首先，通过Maven导包引入Elasticsearch及其相关组件；其次，在Spark中设置ES连接参数如主机名、端口等；最后，利用saveToEs()方法将RDD数据写入ES索引。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步：导包

<dependency>
       <groupId>org.elasticsearch</groupId>
       <artifactId>elasticsearch</artifactId>
       <version>6.3.2</version>
</dependency> 
<dependency>
	   <groupId>org.elasticsearch</groupId>
	   <artifactId>elasticsearch-hadoop</artifactId>
	   <version>6.3.2</version>
</dependency>
<dependency>
	   <groupId>org.elasticsearch.client</groupId>
	   <artifactId>transport</artifactId>
	   <version>6.3.2</version>
</dependency>

第二步：spark代码中设置ES的相关参数

val conf = new SparkConfig(appName)
      .local()
      .extend(new SparkEsExt(esInfo()))
      .get()

public static Map<String, String> esInfo() {
        String hostname = "es.hostname";
        String password = "es.password";
        String username = "es.username";
        String port = "es.port";

        return new HashMap<String, String>(4) {{
            put(EsInfoKey.NODES, hostname);
            put(EsInfoKey.PORT, port);
            put(EsInfoKey.USER, username);
            put(EsInfoKey.PASSWORD, password);
        }};
    }

第三步：调用写入ES的api—saveToEs（）

import org.elasticsearch.spark._
rddSource.saveToEs("info", Map("es.mapping.id" -> "id"))