spark postgresql查询后hive批量写入

最新推荐文章于 2025-10-06 17:36:18 发布

原创

最新推荐文章于 2025-10-06 17:36:18 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sparksql #hive

本文介绍如何从PostgreSQL数据库查询数据并使用Spark一次性写入到Hive表中，包括操作步骤、可能遇到的权限问题和类型匹配错误的解决办法，提供了一篇关于Spark(Hive) SQL数据类型的参考文章。

一.功能说明

从传统数据库中读取数据,然后一次性插入至hive表中.

二.代码详细

    val sc = new SparkContext(new SparkConf())
    val sqlContext = new SQLContext(sc)

    val schema = StructType(List(
      StructField("branch_no", StringType, true),//StructField("branch_no", DecimalType(), true),
      StructField("broker_account", StringType, true),
      StructField("broker_name", StringType, true),
      StructField("broker_type", StringType,