weixin_40814247的博客

下载hadoop镜像 可以在github上自己手动构建hadoop镜像，也可以从dockerhup上下载，dockerhup上已经与该github项目建立起自动构建的关系。 docker-compose.yml文件中用到了以下5个docker镜像 docker pull bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8 docker pull bd...

首先去官网下载好 jdk 以及Hadoop 使用xshell 中xftp 传入对应的地方 使用 tar -zxvf hadoop-3.1.2.tar.gz 来解压对应文件 java解压好后 使用 sudo vi /etc/profile 添加内容 export JAVA_HOME=/opt/java/jdk1.8.0_211/ export JRE_HOME=/opt/java/jdk1.8.0_...

最近搭建Hadoop伪集群时 ，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP :50070就是访问不了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。 伪集群搭建采用的是CentOS 7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。 Firewall： systemctl start firewalld.servi...

之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的VERS...

$ hdfs dfs -ls hdfs://test:8020/hbase ls: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error 意思是namenode不可用，查看namenode状态 hdfs-site.xml <property>...