ubuntu14上hadoop的搭建（1）

在windows上搭建运行hadoop遇到了各种小问题，后来装了虚拟机，但是cpu被占到了90%，电脑奇热，于是索性安装了双系统。

ubuntu14上用terminal搭建hadoop会简单许多。

开始先进行hadoop单机模式的搭建，这种模式大多运用在学习和测试，之后的为分布模式和分布模式才能真正体现hadoop的HDFS优势。

配置：ubuntu14 64位

          hadoop1.0.3

首先去hadoop官网下载相应版本，解压到相应文件，我解压到了/urs/local/hadoop

1. ~$ sudo tar xzf hadoop-1.0.3.tar.gz  
2. ~$ sudo mv hadoop-1.0.3 /usr/local/hadoop  

然后就是ssh安装

ssh安装

hadoop用无口令的ssh协议，ssh采用公钥加密声称一个公钥，一个私钥。公钥被储存在本地集群的每个节点上，私钥则由节点访问远端节点发送过来。相当于一个主节点与节点之间的验证通道。

以下便是流程化的安装配置ssh

打开ubuntu的terminal

1. 安装；     ~$ sudo apt-get install openssh-server 

2.启动ssh服务：~$ sudo /etc/init.d/ssh start 

3.检验是否启动：~$ ps -e | grep ssh 

设置免密码登录，生成私钥和公钥，（一定不要设置密码）

~$ ssh-keygen -t rsa -P ""

会出现提示设置密码，直接enter就会跳过

~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

尝试登录ssh

~$ ssh localhost

登出

~$ exit 

ssh安装配置完成

安装jdk 

java -version 进行检查

~$ sudo apt-get install openjdk-6-jdk  

~$ java -version

hadoop安装配置

前面我们应该已经利用配置ssh的时间下载完成了hadoop

现在进入hadoop目录，打开conf目录下到hadoop-env.sh，添加以下信息：
            export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
            export HADOOP_HOME=/usr/local/hadoop（hadoop的文件路径）
            export PATH=$PATH:/usr/local/hadoop/bin（hadoop里bin文件的路径）

是环境变量生效：~$ source /usr/local/hadoop/conf/hadoop-env.sh  

输入 hadoop -version：检测完成配置

WordCount实现简单mapreduce过程

如果不喜欢用终端，一些建立文件也可以在图形界面完成

在hadoop目录下新建input文件夹

~$ mkdir input  

将conf中的所有文件拷贝到input文件夹中

 view~$cp conf/* input<span style="font-family: Arial, Helvetica, sans-serif; white-space: normal; background-color: rgb(255, 255, 255); "> </span>  

运行WordCount程序，并将结果保存到output中

~$ bin/hadoop jar hadoop-xxx-examples.jar wordcount input output  （bin中有一个hadoop example文件，自己找路径）

运行，所有conf文件的词频就被count出来了

~$ cat output/*