Cool0的博客

spark读写es 官方文档：https://www.elastic.co/guide/en/elasticsearch/hadoop/6.7/configuration.html mvn依赖 我这里使用的版本如下： 名称 版本 spark 2.3.0 es 6.7.0 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-

从Spark序列化问题理解闭包 问题描述 在一次开发中，遇到这个问题 Caused by: java.io.NotSerializableException: Object of org.apache.spark.streaming.kafka010.DirectKafkaInputDStream is being serialized possibly as a part of closure of an RDD operation. This is because the DStream object