Hadoop在CentOS上的安装及实现

最新推荐文章于 2024-07-28 22:16:41 发布

zzqingpu

最新推荐文章于 2024-07-28 22:16:41 发布

阅读量155

点赞数

分类专栏： Hadoop 文章标签： hadoop CentOS

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

Hadoop在CentOS上的安装及实现分为3部分：

第一，安装jdk以及配置jdk

安装jdk：

jdk的下载：

jdk的下载网址：http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-i586.bin

这里需要注意的是：安装的jdk需要1.6版本以上的jdk。

注意：jdk1.6版本（因为我安装的时候使用了jdk1.5，导致最后使用的时候出现版本过低的错误。）

jdk的安装：

选择CentOS上的jdk安装目录，我是在home/zhangpuego/下建了的目录，将bin文件解压即可。

配置jdk：

1.切换到root用户 su - root

2.更改环境变量文件

在/etc/profile文件中，增加：
#add for java enviroment time:2011-11-30

                   #注意此处的路径
                   JAVA_HOME=/home/zhangpuego/software/jdk1.5.0_22
                   CLASSPAT=.:$JAVA_HOME/jre/lib/rt.jar
                   PATH=$JAVA_HOME/bin:$PATH
                   export JAVA_HOME CLASSPATH PATH

3.切换到zhangpuego用户

                   输入 java -version查看：
                  java version "1.6.0_29"
                  Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
                  Java HotSpot(TM) Client VM (build 20.4-b02, mixed mode, sharing)

JDK安装成功！

第二，安装hadoop以及配置hadoop

安装hadoop：

hadoop的下载：

hadoop的下载地址：http://apache.etoak.com//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

hadoop的配置：（在hadoop的安装目录下能找到conf文件夹和下面的几个xml文件）

conf/core-site.xml :

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml :

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml :

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

第三，启动hadoop及网页测试

启动hadoop：

Format a new distributed-filesystem:

$ ./hadoop namenode -format

Start the hadoop daemons:
$ ./start-all.sh(这一步时，注意文件的访问权限问题)

网页测试：

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/