hadoop安装

最新推荐文章于 2024-09-25 20:23:12 发布

iteye_8118

最新推荐文章于 2024-09-25 20:23:12 发布

阅读量101

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：大数据运维开发工具

本文链接：https://blog.youkuaiyun.com/iteye_8118/article/details/82478915

hadoop 专栏收录该内容

20 篇文章

订阅专栏

网上找到一兄弟的资源，debian下安装hadoop，附件中


1.下载hadoop-0.20.205.0.tar.gz
2.cp 到/usr/local/hadoop并减压
3.修改环境变量
root@debian:/usr/local/hadoop/conf# echo $JAVA_HOME
/opt/software/hadoop/jdk1.6.0_27
vim /usr/local/hadoop/conf/hadoop-env.sh
export JAVA_HOME=/opt/software/hadoop/jdk1.6.0_27
保存
root@debian:/usr/local/hadoop/bin# vim /etc/profile
添加hadoop安装目录及PATH添加bin目录 
4./croot@debian:/usr/local/hadoop/conf# vim core-site.xml
  6 <configuration>
  7    <property>
  8         <name>fs.default.name</name>
  9         <value>hdfs://localhost:9000</value>
 10    </property>
 11    <property>
 12         <name>dfs.replication</name>
 13         <value>1</value>
 14    </property>
 15    <property>
 16         <name>hadoop.tmp.dir</name>
 17         <value>/home/hadoop/tmp</value>
 18    </property>
 19 </configuration>
5./croot@debian:/usr/local/hadoop/conf# vim mapred-site.xml
   <configuration>
  7     <property>
  8         <name>mapred.job.tracker</name>
  9         <value>localhost:9001</value>
 10      </property>
 11 </configuration>
6.报如下错误：
localhost: Unrecognized option: -jvm
localhost: Could not create the Java virtual machine.
解决办法：root@debian:/usr/local/hadoop/bin# vim hadoop
修改为如下（把-jvm去掉）：
253   if [[ $EUID -eq 0 ]]; then
254 #HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
255     HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
256   else
257     HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
258   fi
7.root@debian:/usr/local/hadoop/bin# ./hadoop namenode -format
8.root@debian:/usr/local/hadoop/bin# ./start-all.sh
9.关于 Warning: $HADOOP_HOME is deprecated
A.把上面配置的HADOOP＿HOME环境变量去掉
B.vim /root/.bashrc添加export HADOOP_HOME_WARN_SUPPRESS=1
告警消失
10.ssh无密码登录配置 
    # cd ~/.ssh     (进入用户目录下的隐藏文件.ssh)
    # ssh-keygen -t rsa   （用rsa生成密钥）
    # cp id_rsa.pub authorized_keys   （把公钥复制一份，并改名为authorized_keys，这步执行完，应该ssh localhost可以无密码登录本机了，可能第一次要密码）
    # chmod 600 authorized_keys 
    # ssh localhost 验证

11.解决"no datanode to stop"问题
原因：每次namenode format会重新创建一个namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的数据，但是没有清空datanode下的数据，导致启动时失败，所要做的就是每次fotmat前，清空tmp一下的所有目录
第一种解决方案:
   删除rm -r /home/hadoop/tmp
   创建mkdir /home/hadoop/tmp
   重新格式化：hadoop namenode -format
第二种解决方案:
   修改使的每个Slave的namespaceID使其与Master的namespaceID一致 
   该"namespaceID"位于"/home/hadoop/tmp/dfs/data/current/VERSION"文件中
12.Namenode in safe mode
   hadoop dfsadmin -safemode leave