
大数据
文章平均质量分 82
主要包括hadoop系列开源大数据
Yager523
因为专注,才有专业
展开
-
oozie定时调用sqoop从oracle中增量导入数据至hive表
说明: 在大数据开发中,由于数据量非常的大,有时候需要将关系型数据库(Oracle/Postgresql/Mysql等)中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop从oracle库中增量导入数据至hive表涉及到的问题做了详细的讨论,仅供参考。原创 2016-12-14 18:10:34 · 7209 阅读 · 1 评论 -
oozie-4.0.0-cdh5.3.1环境搭建
我没有使用CM安装,而是将zookeeper/hadoop/oozie/hive的cdh版分别单独安装的,这样的安装方法需要配置相关的参数比较多,容易出错。 1/ 下载解压oozie-4.0.0-cdh5.3.1.tar.gz到安装目录下: 本文的oozie的安装目录如下:/usr/cdh5.3.1/oozie-4.0.0-cdh5.3.12/ 在/root/.bash_profile中添加环境原创 2016-12-12 19:58:31 · 875 阅读 · 0 评论 -
kylin-1.5.4.1安装问题解决
一些说明由于项目要用到apache kylin,所以在kylin官网上下载了最新的二进制包: for HBase 0.98 (includes HDP 2.2, CDH 5.2/5.3) - apache-kylin-1.5.4.1-bin.tar.gz之前的Hadoop集群搭建在三台物理机上,装的cdh版本号如下:zookeeper-3.4.5-cdh5.3.1hadoop-2.原创 2016-12-02 20:57:31 · 4072 阅读 · 0 评论