巨坑！！华为大数据平台sparksql，连接gauss200数据库

胶水代码

已于 2024-09-18 22:44:26 修改

阅读量596

点赞数 4

CC 4.0 BY-SA版权

分类专栏：技术文档文章标签：大数据

于 2024-09-18 14:52:37 首次发布

本文链接：https://blog.youkuaiyun.com/aismt/article/details/142332485

最近用华为大数据平台fusion6.5平台，写了一个sparksql 读取gauss200的MPP数据库的程序。

首先将spark 相关的jar依赖包，必须在华为大数据平台的客户端的spark/jars 这个文件里面去找到然后添加到idea 依赖里面。打包要把整体包打在里面。

核心代码片段如下：

SparkConf sparkConf = new SparkConf().setAppName("SparkKafkaStreamingExample")；
SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
Dataset<Row> result = spark.read()
                                .format("jdbc")
                                .option("url", "jdbc:gaussdb://192.168.1.1:25308/exam")
                                .option("dbtable", "(" + sqlQuery + ") as temp_table")
                                .option("user", cdjz)