Spark通过https的方式读取elasticsearch中的数据

在确保数据安全性的需求下，Elasticsearch集群配置了HTTPS访问。然而，使用Spark默认的HTTP方式尝试读取这些数据会导致错误。本文将分享如何解决这一问题，实现Spark通过HTTPS正确连接并读取Elasticsearch的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了安全起见，es中配置了https访问方式，但是spark读取es中的数据的时候是通过普通的http的方式访问的，现在读取的话肯定报错，找了一圈，上代码

    val conf=new SparkConf().setAppName("es test")///.setMaster("local")
    conf.set("es.net.ssl","true")
    conf.set("es.net.ssl.keystore.location","D:\\test_jar\\node-0-keystore.jks")//"D:\\test_jar\\node-0-keystore.jks"
    conf.set("es.net.ssl.keystore.pass","changeit")
    conf.set("es.net.ssl.keystore.type","JKS")
    conf.set("es.net.ssl.truststore.location","D:\\test_jar\\truststore.jks")//在linux上运行的时候此处路径写file:///全路径
    conf.set("es.net.ssl.truststore.pass","changeit")
    conf.set("es.net.ssl.cert.allow.self.signed","false")
    conf.set("es.net.ssl.protocol","TLSv1.2")//官网上是TLS,必须带版本号，否则报错
    conf.set("es.index.auto.create","true")
    conf.set("es.net.http.auth.user","admin")//访问es的用户名
    conf.set("es.net.http.auth.pass","admin")//访问es的密码
    //conf.set("es.nodes.wan.only","true")
    conf.set("es.index.read.missing.as.empty","true")
    conf.s