spark 通过jdbc读取hive jdbc

 

1.通过spark提供的jdbc方式连接代码如下

val spark = SparkSession.builder().master("local").getOrCreate()
    val rdd = spark.read.format("jdbc")
      .format("jdbc")
      .option("driver", "org.apache.hive.jdbc.HiveDriver")
      .option("url", "jdbc:hive2://hiveserver2:10000")
      .option("user", "hive")
      .option("dbtable", "dep.tablename1")
      .option("fetchsize", "100")
      .load()
    rdd.show()

2.执行之后发现读取的数据全为表名数据

3.分析和调试

通过一步步的调试发现代码最终会到JDBCRDD，所以在compute方法打断点，一步步调试发现到下面代码的时候出现问题

通过查看sqlText的值发现sqlText的值为 select "columns1" from dep.tablename1 的值，很显然得到的结果肯定是columns1的值。为什么会出现上面的问题我们跟踪colmnList的值发现代码在下面出现

private val columnList: String = {
    val sb = new StringBuilder()
    columns.foreach(x => sb.append(",").append(x))
    if (sb.isEmp