rc_ll的专栏

这几天看《hadoop技术内幕》种关于mapreduce的书，董西城著的，所以想编译下hadoop-1.0.0，弄了2天，最终成功了，所以把经验分享下。1、下载hadoop-1.0.0.tar.gz。不知道可以从哪里下，搜的是csdn上别人上传的，还化了2C币2、安装eclipse，去下载最新版直接装就是了，我的是java-oxygen版。3、安装ant。去apacheant官网下最新

安装protobuf-2.5.0，执行protoc --version出现错误protoc: error while loading shared libraries: libprotobuf.so.8: cannot open shared object file: No such file or directory使用export LD_LIBRARY_PATH="usr/lo

1、进入http://www.scala-sbt.org/download.html2、echo "deb https://dl.bintray.com/sbt/debian/" | sudo tee -a /etc/apt/sources.list.d/sbt.listsudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80

前面装java、各个node的步骤按网上的资料就可以了。下面是主要的问题。问题：（1）按书上步骤搭建完后，使用hdfs的put命令不能上传文件，这时需要使用命令systemctl stop firewalld.service来关闭防火墙。不能用service iptables stop命令，会出错Failed to start iptables.service: Unit iptables.ser

出现Application failed 2 times due to AM Container在yarn-site.xml中添加下面的property>  name>yarn.application.classpathname>  value>$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$H

1 到hadoop官网网站下载hadoop- -2.7.4-src.tar.gz2 解压hadoop- -2.7.4-src.tar.gz3 安装jdk，再/etc/profile末尾加入export JAVA_HOME=/opt/jdk1.8.0_102export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tool...