数仓之spark数据采集

最新推荐文章于 2024-07-06 02:09:50 发布

原创

最新推荐文章于 2024-07-06 02:09:50 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #数据仓库

概要

由于spark可以接入非常多的数据源，且能够完美连接hive库，那么离线数仓以spark作为数据采集工具，将是一个方便可行的方案。

配置文件json

参考alibaba开发的datax数据同步工具，及目前的flinkx数据同步工具，以json文件作为配置文件，主要分为reader模块，writer模块。这里列出hive->mysql的json demo

{
  "cluster":"10.40.3.26",
  "reader":{
    "name":"hivereader",
    "sql":"select * from  dphj.dim_base_afc_device"
  },
  "writer":{
    "name":"mysqlwriter",
    "url":"jdbc:mysql://localhost:3306/test1?characterEncoding=utf8&serverTimezone=UTC&useSSL=false",
    "username":"root",
    "password":"root",
    "table":"hive_test",
    "writeMode":"append",
    "preSql":"truncate table hive_test",
    "afterSql":""
  }
}

连接hive

spark连接hive主要读取三个文件，分别读取hive下的，core-site.xml、hdfs-site.xml、hive-site.xml

      sparkSession.sparkContext.hadoopConfiguration.addResource(coreSiteFileName)
      sparkSession.sparkContext.hadoopConfiguration.addResource(hdfsSiteFi