最近用华为大数据平台fusion6.5平台,写了一个sparksql 读取gauss200的MPP数据库的程序。
首先将spark 相关的jar依赖包,必须在华为大数据平台的客户端的spark/jars 这个文件里面去找到然后添加到idea 依赖里面。打包要把整体包打在里面。
核心代码片段如下:
SparkConf sparkConf = new SparkConf().setAppName("SparkKafkaStreamingExample");
SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
Dataset<Row> result = spark.read()
.format("jdbc")
.option("url", "jdbc:gaussdb://192.168.1.1:25308/exam")
.option("dbtable", "(" + sqlQuery + ") as temp_table")
.option("user", cdjz)