centos6 安装 zookeeper+hadoop+hbase

看完这个再做 少点脑壳痛

可以提前把全局变量设置好jdk zookeeper hadoop hbase

路径要是不一样就是 每个第一行的路径改下就可以
/root/.bashrc

export JAVA_HOME=/usr/local/cluster/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
##下面这一行我好像没用也可以
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib/rt.jar

export ZOOKEEPER=/usr/local/cluster/zookeeper
export PATH=$PATH:$ZOOKEEPER/bin

export HADOOP_HOME=/usr/local/cluster/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HBASE_HOME=/usr/local/cluster/hbase
export PATH=$PATH:$HBASE_HOME/bin

对着这个教程做就可以
https://blog.youkuaiyun.com/RookieCode/article/details/104487739/
要是懒得下载包 可以去
https://blog.youkuaiyun.com/weixin_38023818/article/details/116303549
hbase 用2.2.6 配hadoop3.3.0可以 其他的自己测
zookeeper

没啥好说的 对着做啥问题会出现 myid 取值开始 0开始还是 1开始都可以 但是别2开始就是
/bin/zkServer.sh status/start/stop
有问题 就全部停止 然后再一起启动 成功概率高点 别restart
别问 问我我也不知道咋回事…

hadoop

配置文件里面添加

hadoop-env.sh

export JAVA_HOME=/usr/local/cluster/java
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

yarn-env.sh

export JAVA_HOME=/usr/local/cluster/java
export YARN_RESOURCEMANAGER_USER=root
export HADOOPSECURE_DN_USER=yarn
export YARN_NODEMANAGER_USER=root

有时候master 的端口9000会被其他你安装的占用 那就改为9001啥的

我测试站启动就遇到了 日志里面显示端口被占用 然后lsof -i:9000 显示被agent占用了 好像是zabbix 的
修改成9001后
第一次安装启动的时候要用 /bin/hdfs namenode -format 后面别用 格式化数据的

/sbin/stop-all.sh 启动全部
/sbin/start-all.sh 停止全部

从节点启动 我装的时候各种问题
主节点启动成功了 从节点就是不会自动启动 只能去手动启动下 后面莫名其妙就会自动启动
/bin/hdfs --daemon start datanode

安装的时候 因为没数据要求 从节点要是启动没反应
… 去查看下 VERSION 会不会一致
/usr/local/cluster/hadoop/hdfs/name/current/VERSION
最快的解决办法直接删了主从节点的 hdfs下 name和data里面的文件
然后主节点那边 /bin/hdfs namenode -format

Hbase

安装过程会出现jar包冲突的

修改hbase项目下//conf/hbase-env.sh 添加 Hbase禁用查找Hadoop的Classs=True
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true

启动
/bin/start-hbase.sh
我装的时候不会自己启动主节点，几次重启后会了 ，一脸懵逼
/hbase-daemon.sh start master

报错 Hadoop HBase | ERROR [master/hadoop-master:16000:becomeActiveMaster] master.HMaster: Failed to becom

在配置文件 hbase-site.xml 中添加：

<property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
</property>

重启
但是好像有个说话是对数据会干嘛 线上使用的话 ==我继续找点资料看看 有没有更好的办法