需求:将hive中的数据读取出来,写入es中。
环境:spark 2.0.2
1. SparkSession里设置enableHiveSupport()
SparkConf conf = new SparkConf().setAppName("appName").setMaster("local[*]");
SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example hive")
.config(conf)
.enableHiveSupport() //支持hive
.getOrCreate();
2. pom 添加依赖 ( 对hive版本没要求 )
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>1.2.1</version>
</dependency>
或者
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<versi