ubuntu14.04安装hadoop2.6.03

ubuntu14.04安装hadoop2.6.0,

1.先创建hadoop用户：

查看创建的用户在/home/下面有了文件夹：

2.安装ssh:

3.切换到hadoop用户下，然后启动ssh服务，验证用密码登陆localhost

4.退出，配置ssh无密码登陆localhost

把根目录下的~/.ssh/id_rsa.pub 复制到~/.ssh/authorized_keys里面

更改.ssh和authorized_keys的权限，防止hadoop运行时访问被拒绝。

验证无密码登陆localhost

下载hadoop安装包：http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz

1.  把hadoop解压到/usr/local下:

1. sudo tar -zxvf hadoop-2.6.0.tar.gz  
2. sudo mv hadoop-2.6.0 /usr/local/hadoop  
3. sudo chmod -R 775 /usr/local/hadoop
4. sudo chown -R hadoop:hadoop /usr/local/hadoop  //否则ssh会拒绝访问 

2.配置：

修改bashrc的配置：sudo gedit ~/.bashrc

3.执行source ~/.bashrc使其有效

4.修改hadoop-env.sh的配置：sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

找到JAVA_HOME改为上面的值。

5.测试：

• 通过执行hadoop自带实例WordCount验证是否安装成功
•  /usr/local/hadoop路径下创建input文件夹

1. mkdir input  
2. cp README.txt input 
3. 在hadoop下执行以下命令：
   1. bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar  
   2. org.apache.hadoop.examples.WordCount input output  
   
   

伪分布式配置（以上是单机版）：

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

1. <property>  
2.     <name>yarn.resourcemanager.hostname</name>  
3.     <value>master</value>  
4. </property>  
5. <property>  
6.     <description>The address of the applications manager interface in the RM.</description>  
7.     <name>yarn.resourcemanager.address</name>  
8.     <value>${yarn.resourcemanager.hostname}:8032</value>  
9. </property>  
10. <property>  
11.     <description>The address of the scheduler interface.</description>  
12.     <name>yarn.resourcemanager.scheduler.address</name>  
13.     <value>${yarn.resourcemanager.hostname}:8030</value>  
14.   </property>  
15. <property>  
16.     <description>The http address of the RM web application.</description>  
17.     <name>yarn.resourcemanager.webapp.address</name>  
18.     <value>${yarn.resourcemanager.hostname}:8088</value>  
19. </property>  
20. <property>  
21.     <description>The https adddress of the RM web application.</description>  
22.     <name>yarn.resourcemanager.webapp.https.address</name>  
23.     <value>${yarn.resourcemanager.hostname}:8090</value>  
24. </property>  
25. <property>  
26.     <name>yarn.resourcemanager.resource-tracker.address</name>  
27.     <value>${yarn.resourcemanager.hostname}:8031</value>  
28. </property>  
29. <property>  
30.     <description>The address of the RM admin interface.</description>  
31.     <name>yarn.resourcemanager.admin.address</name>  
32.     <value>${yarn.resourcemanager.hostname}:8033</value>  
33. </property>  
34. <property>  
35.    <name>yarn.nodemanager.aux-services</name>  
36.    <value>mapreduce_shuffle</value>  
37. </property>  

 sudo gedit /usr/local/Hadoop/etc/Hadoop/mapred-site.xml  //伪分布式不用配（说是不用配，所以我没配置）

1. <property>  
2.         <name>mapreduce.framework.name</name>  
3.         <value>yarn</value>  
4. </property>  
5. <property>  
6.   <name>mapreduce.jobhistory.address</name>  
7.   <value>master:10020</value>  
8.   <description>MapReduce JobHistory Server IPC host:port</description>  
9. </property>  
10. <property>  
11.   <name>mapreduce.jobhistory.webapp.address</name>  
12.   <value>master:19888</value>  
13.   <description>MapReduce JobHistory Server Web UI host:port</description>  
14. </property> 

 sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

1. <configuration>  
2. <property>  
3.         <name>dfs.replication</name>  
4.         <value>1</value>  
5.     </property>  
6.     <property>  
7.         <name>dfs.namenode.name.dir</name>  
8.         <value>file:/usr/local/hadoop/dfs/name</value>  
9.     </property>  
10.     <property>  
11.         <name>dfs.datanode.data.dir</name>  
12.         <value>file:/usr/local/hadoop/dfs/data</value>  
13.     </property>  
14.     <property>                 //这个属性节点是为了防止后面eclopse存在拒绝读写设置的  
15.             <name>dfs.permissions</name>  
16.             <value>false</value>  
17.      </property>  
18.  </configuration>  

sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加：localhost

sudo gedit /usr/local/hadoop/etc/hadoop/slaves  添加：localhost

关于配置的一点说明：上面只要配置 fs.defaultFS 和 dfs.replication 就可以运行，不过有个说法是如没有配置 hadoop.tmp.dir 参数，此时 Hadoop 默认的使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在每次重启后都会被干掉，必须重新执行 format 才行（未验证），所以伪分布式配置中最好还是设置一下。

配置完成后，首先在 Hadoop 目录下创建所需的临时目录：（注意创建目录的时候一定不要用sudo）

1. cd /usr/local/hadoop  
2. mkdir tmp dfs dfs/name dfs/data 

6.接着初始化文件系统HDFS。

1. bin/hdfs namenode -format //每次执行此命令要把dfs/data/文件清空  

成功的话，最后的提示如下， Exitting with status 0  表示成功， Exitting with status 1:  则是出错。

开启hadoop：

1. sbin/start-dfs.sh  
2. sbin/start-yarn.sh  

开启Jobhistory

sbin/mr-jobhistory-daemon.sh  start historyserver 

运行例子：

1.先在hdfs上建个文件夹  bin/hdfs dfs -mkdir -p /user/hadoop/input

                                  bin/hdfs dfs -mkdir -p /user/hadoop/output

上传文件：

查看文件上传成功：

运行例子：

命令如下：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /porrylee/input/ /output/wordcount3

查看结果：

至此hadoop伪分布式安装成功！

hadoop安装参考：http://blog.youkuaiyun.com/ggz631047367/article/details/42426391

wordcount伪分布式运行：http://www.linuxidc.com/Linux/2015-01/112029p2.htm