- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 oozie定时调用sqoop从oracle中增量导入数据至hive表
说明: 在大数据开发中,由于数据量非常的大,有时候需要将关系型数据库(Oracle/Postgresql/Mysql等)中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop从oracle库中增量导入数据至hive表涉及到的问题做了详细的讨论,仅供参考。
2016-12-14 18:10:34
7209
1
原创 oozie-4.0.0-cdh5.3.1环境搭建
我没有使用CM安装,而是将zookeeper/hadoop/oozie/hive的cdh版分别单独安装的,这样的安装方法需要配置相关的参数比较多,容易出错。 1/ 下载解压oozie-4.0.0-cdh5.3.1.tar.gz到安装目录下: 本文的oozie的安装目录如下:/usr/cdh5.3.1/oozie-4.0.0-cdh5.3.12/ 在/root/.bash_profile中添加环境
2016-12-12 19:58:31
873
原创 kylin-1.5.4.1安装问题解决
一些说明由于项目要用到apache kylin,所以在kylin官网上下载了最新的二进制包: for HBase 0.98 (includes HDP 2.2, CDH 5.2/5.3) - apache-kylin-1.5.4.1-bin.tar.gz之前的Hadoop集群搭建在三台物理机上,装的cdh版本号如下:zookeeper-3.4.5-cdh5.3.1hadoop-2.
2016-12-02 20:57:31
4068
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人