利用Spark实现Oracle到Hive的历史数据同步

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

1、需求背景

和上一篇文章Spark通过修改DataFrame的schema给表字段添加注释一样，通过Spark将关系型数据库（以Oracle为例）的表同步的Hive，这里讲的只是同步历史数据，不包括同步增量数据。

2、Oracle和Hive的字段类型对应

利用Spark的字段类型自动匹配，本来以为Spark匹配的不是很好，只是简单的判断一下是否为数字、字符串，结果经验证，Spark可以获取到Oracle的小数点精度，Spark的字段类型对应和我自己整理的差不多，所以就索性用Spark自带的字段类型匹配，而不是自己去Oracle相关表获取每个字段类型，然后一一转化为Hive对应的字段类型，下面是Oracle和Hive的字段类型对应，只是整理了大概：

Oracle | Hive

• | :-:
  VARCHAR2 | String
  NVARCHAR2 | String
  NUMBER | DECIMAL/Int
  DATE | TIMESTAMP
  TIMESTAMP | TIMESTAM