hadoop生态系统搭建(hadoop hive hbase zookeeper oozie sqoop)

本文详细介绍了在CDH版本下搭建Hadoop、Hive、HBase、Zookeeper和Oozie的过程及注意事项。包括版本兼容性、SSH无密码访问配置、Hadoop环境变量设置、Hive元数据库选项、HBase主节点与RegionServer分离、Zookeeper的连接数调整以及Oozie的时区配置和Sqoop的JDBC驱动安装。确保集群稳定运行的关键步骤和潜在问题进行了深入探讨。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >



详细过程参见官方文档,这里只介绍常见的一些问题:

1、首先是版本的选择,一般选择cloudera 的cdh版,注意相互之间的兼容性,否则出现莫名其妙的问题都不知道怎么解决。


2、配置ssh无密码访问时要注意,.ssh目录的权限问题,跟各个开发包一样,各节点必须一致,否则会出现启动hadoop时让手动输密码。


3、在配置conf下文件时要注意,某些属性的值必须是hadoop程序有写权限的目录,比如:hadoop.tmp.dir


4、Hadoop-env.sh中要配置JAVA_HOME,不管profile或.bash_profile有没配置


5、hive的配置只要关联正确hadoop的namenode即可,元数据库可用默认的derby,也可通过修改配置实用mysql


6、hbase的master最好不用作regionserver。


7、zk的连接数要改的大一点,默认是30个,并且尽量与hadoop node节点分开,因为hadoop的暂时负担过重等异常会严重影响zk与hbase的正常工作,比如导致zk长时间选举不出leader,hbase 各节点会相继挂掉。

8、安装oozie依赖ext包,因为console会用到这个框架,console的时间默认显示GMT格式,看着很别扭,通过修改

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值