安装配置hadoop1.2.1

最新推荐文章于 2018-01-25 14:17:00 发布

转载最新推荐文章于 2018-01-25 14:17:00 发布 · 827 阅读

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何配置Hadoop集群中的主机无密码登录，修改核心配置文件，初始化HDFS文件系统，包括namenode地址、数据保存份数、jobtracker配置等关键步骤。

（1）先配ssh 必须无密码登入 否则会出现 hadoop/etc/hadoop/slaves  no such file or directory
ssh配置　　

主机A：10.0.5.199

主机B：10.0.5.198 

需要配置主机A无密码登录主机A，主机B

先确保所有主机的防火墙处于关闭状态。

在主机A上执行如下：

　1.　$cd ~/.ssh

　2.　$ssh-keygen -t rsa  --------------------然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。

　3.　$cp id_rsa.pub authorized_keys 

         这步完成后，正常情况下就可以无密码登录本机了，即ssh localhost，无需输入密码。

　4.　$scp authorized_keys summer@10.0.5.198:/home/summer/.ssh   ------把刚刚产生的authorized_keys文件拷一份到主机B上.　　

　5.　$chmod 600 authorized_keys       

　　   进入主机B的.ssh目录，改变authorized_keys文件的许可权限。

　　 (4和5可以合成一步，执行:  $ssh-copy-id -i summer@10.0.5.198 )

 

正常情况下上面几步执行完成后，从主机A所在机器向主机A、主机B所在机器发起ssh连接，只有在第一次登录时需要输入密码，以后则不需要。

 

可能遇到的问题：

1.进行ssh登录时，出现：”Agent admitted failure to sign using the key“ .

   执行： $ssh-add

   强行将私钥 加进来。

2.如果无任何错误提示，可以输密码登录，但就是不能无密码登录，在被连接的主机上（如A向B发起ssh连接，则在B上）执行以下几步：

　　$chmod o-w ~/

   $chmod 700 ~/.ssh

   $chmod 600 ~/.ssh/authorized_keys

3.如果执行了第2步，还是不能无密码登录，再试试下面几个

　　$ps -Af | grep agent 

        检查ssh代理是否开启，如果有开启的话，kill掉该代理，然后执行下面，重新打开一个ssh代理，如果没有开启，直接执行下面：

       $ssh-agent

　　还是不行的话，执行下面，重启一下ssh服务

       $sudo service sshd restart

4. 执行ssh-add时提示“Could not open a connection to your authenticationh agent”而失败

执行： ssh-agent bash 
（2）修改hadoop的核心配置文件core-site.xml，配置namenode的地址和端口
   
<configuration>  
     <property>  
         <name>fs.default.name</name>  
         <value>hdfs://localhost:9000</value> 
         <final>true</fianl> 
     </property>  
</configuration>  
 
 
下面这个还是很必要的，如果不配置临时目录，格式化hdfs是会在/tem目录下创建临时目录但是tmp目录重启系统会清楚下面文件。这样namenode就启动不起来了  
 <property>  
         <name>hadoop.tmp.dir</name>  
         <value>/home/ruge/hadoop/hadooptmpdir</value>  
         <description>A base for other temporary directories.</description>  
     </property>  
  
(3)修改hadoop的hdfs-site.xml，配置replication，即数据保存份数
 
<property>  
         <name>dfs.replication</name>  
         <value>1</value>  
</property> 
<property>  
         <name>dfs.name.dir</name>  
         <value>/home/zj/lib/hadoop121/hdfs</value>  
</property>  
 
 （4）修改hadoop的mapred-site.xml，配置jobtracker的地址和端口
<property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value> 
         <final>true</fianl> 
</property>  
 注：涉及到IP的地方如果是完全分布式集群，需要改成具体的IP

4、格式化hadoop的文件系统HDFS
bin/hadoop namenode -format  
5、启动hadoop
 
Java代码  收藏代码
bin/start-all.sh