hadoop 1.x 伪分布式部署及windows开发环境搭建

最新推荐文章于 2024-09-10 16:33:20 发布

原创最新推荐文章于 2024-09-10 16:33:20 发布 · 999 阅读

0 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

0 篇文章

订阅专栏

本文介绍Hadoop 1.x版本的伪分布式部署步骤及注意事项，使用CentOS 6.0作为操作系统，Hadoop版本为0.20.2，并详细记录了JDK的安装配置过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、hadoop 1.x伪分布式部署

关于hadoop的部署，网上能搜到的帖子一大推，部署起来也比较简单，这里我简要介绍一下部署过程中的重难点

1.1、环境介绍

1、linux机器：centos 6.0 Linux version 2.6.32-71.el6.x86_64

2、hadoop安装包：这里选0.20.2,hadoop权威指南第2版是用的这个hadoop版本。

这里提供一个镜像下载地址:(突然找不到了...暂时先不写了)

3、jdk 必须采用1.6及以上版本我用的是jdk-6u45-linux-x64.bin 在oracle官网上下的

1.2、 jdk安装

1、将jdk-6u45-linux-x64.bin 拷贝到任意目录，我拷贝到/opt下

2、用"./jdk-6u45-linux-x64.bin"运行jdk安装文件，运行完后在当前目录下会生成一个“jdk1.6.0_45”目录

3、配置JAVA_HOME

vim /etc/profile

在文件末尾加上以下配置，wq保存。注意JAVA_HOME的值根据jdk实际安装路径确定。

export JAVA_HOME=/opt/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH

4、用“java -version”命令查看jdk安装情况，如下则表示安装成功

[root@jiaoshou opt]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

1、3 hadoop伪分布式部署

这里先不写了，写了前面那些，感觉边回忆边写不可靠，下次有时间重新搭一个环境，边搭建边写

2、windows 开发环境配置

1、jdk版本1.6以上

2、将hadoop安装包解压到windows机器上

3、安装hadoop插件到Eclipse，注意：很多文章说必须要用hadoop安装包中的hadoop-0.20.2-eclipse-plugin.jar 这个jar包，但实际上不行，用这个jar包访问hdfs没有问题，但是运行MapReduce程序时，点“run on hadoop” 不起作用，在http://www.cnblogs.com/end/archive/2012/11/22/2782903.html网页上找到了解决办法，应该是这个jar包有问题。