hadoop伪分布式部署

最新推荐文章于 2025-08-10 20:11:27 发布

转载最新推荐文章于 2025-08-10 20:11:27 发布 · 952 阅读

文章标签：

#hadoop #java #properties #ubuntu #jdk #deprecated

通过琢磨和参考网上牛人的文章，终于把hadoop的伪分布式折腾起来了，下面具体介绍了

hadoop伪分布式安装
3个主要步骤:
1)安装jdk； 2）安装ssh; 3）安装hadoop;
以下为具体实施细节.
///////////////////////////////////////////////////////////////////////////////
1)安装jdk；
Ubuntu10.10(linux) 安装jdk1.6及环境变量的设置【转载】
转载地址：http://javaangle.blog.163.com/blog/static/1079330652010111374551387/

1.测试环境
ubuntu10.10/jdk1.6u21
2.安装过程
2.1下载jdk安装文件，这里下载bin格式
2.2复制安装文件至/home/java下
2.3使用"chmod 777"或"chomd +x"向文件添加可执行权限
sudo chomd +x jdk-6u21-linux-i586.bin
2.4运行该文件
sudo ./jdk-6u21-linux-i586.bin
运行后，程序会自动解压缩，并生成相应目录。可以看到如下内容：
For more information on what data Registration collects and
how it is managed and used, see:
http://java.sun.com.sixxs.org/javase/registration/JDKRegistrationPrivacy.html

Press Enter to continue.....
Done.

到此，jdk安装已经完成，下面进行环境变量的添加：
3.环境变量的添加：
3.1打开/etc/profile
3.2. 在“umask 022”前添加如下内容：
export JAVA_HOME=/home/yx/Java/jdk1.6.0_21
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
3.3保存文件并关闭当前窗口
3.4使用source /etc/profile使刚才配置的信息生效
3.5在终端输入java -version进行测试，将看到如下内容：
java version "1.6.0_21"
Java(TM) SE Runtime Environment (build 1.6.0_21-b06)
Java HotSpot(TM) Server VM (build 17.0-b16, mixed mode

到此，ubuntu10.10上jdk的安装全部完成。

///////////////////////////////////////////////////////////////////////////////
2) ssh安装
ssh安装,ubuntu上运行sudo apt-get install ssh 然后点yes，自动安装ssh

///////////////////////////////////////////////////////////////////////////////
3)hadoop安装
1.下载hadoop-0.20.1.tar.gz：
http://www.apache.org/dyn/closer.cgi/hadoop/common/

解压：$ tar –zvxf hadoop-0.20.1.tar.gz
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/xxh/hadoop-0.20.1

export PATH=$HADOOP_HOME/bin:$PATH

为了使其生效，运行命令$source /etc/profile
2.配置hadoop
hadoop 的主要配置都在hadoop-0.20.1/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)：
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/xxh/jdk1.6.0_14
3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配
置，datanode 的配置相同)
core-site.xml:
<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/xxh/tmp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml:( replication 默认为3，如果不修改，datanode 少于三台就会报错,且至少为1)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

4.运行hadoop
首先进入hadoop所在目录，执行格式化文件系统 bin/hadoop namenode –format

启动hadoop: bin/start-all.sh

用jps命令查看进程，显示：

xxh@xxh-VirtualBox:~/Downloads/hadoop-0.20.203.0/test-in$ jps
5238 TaskTracker
4995 SecondaryNameNode
4836 DataNode
4687 NameNode
5077 JobTracker
7462 Jps
既是正常的，接下来要上传数据到文件系统里
还有就是使用 web 接口。访问 http://localhost:50030 可以查看 JobTracker 的运行状态。访问 http://localhost:50060 可以查看 TaskTracker 的运行状态。访问 http://localhost:50070 可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等。

5.运行wordcount.java

在hadoop所在目录里有几个jar文件，其中hadoop-examples-0.20.203.0.jar就是我们需要的，它里面含有wordcount，咱们使用命令建立测试的文件

(1)先在本地磁盘建立两个输入文件file01 和file02:
$ echo “Hello World Bye World” > file01
$ echo “Hello Hadoop Goodbye Hadoop” > file02
(2)在hdfs 中建立一个input 目录：$ hadoop fs –mkdir input
(3)将file01 和file02 拷贝到hdfs 中：
$ hadoop fs –copyFromLocal /home/hexianghui/soft/file0* input
(4)执行wordcount：
$ hadoop jar hadoop-0.20.1-examples.jar wordcount input output
(5)完成之后，查看结果：
$ hadoop fs -cat output/part-r-00000
结果为：
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2