ubuntu 13.04 hadoop伪分布式环境的搭建

最新推荐文章于 2023-05-06 16:35:17 发布

luohandsome

最新推荐文章于 2023-05-06 16:35:17 发布

阅读量463

点赞数

CC 4.0 BY-SA版权

分类专栏：技术文章标签： hadoop 分布式

本文链接：https://blog.youkuaiyun.com/luohandsome/article/details/48263493

技术专栏收录该内容

29 篇文章

订阅专栏

本文详细介绍了Hadoop集群从安装、配置到启动的全过程，包括JDK安装、Hadoop下载与解压、用户权限设置、环境变量配置、核心文件修改、目录创建与格式化，以及启动所有Hadoop进程与监控端口监听。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.分三种模式，单机模式，配置为空，调试用，伪分布式，所有的daemon进程在一台机器上，完全分布式，多台机器布署hadoop
2.先安装jdk，再下载hadoop，我下载的是1.2.1
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
3.创建hadoop的用户和用户组
4.ssh免登录，命令
ssh-keygen -t rsa -P “”
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
为什么这样就能免登录？

5.解压hadoop到/home/hadoop/目录下的hadoop-1.2.1，然后建hadooop符号链接指向hadoop-1.2.1
6.修改conf/的hadoop-env.sh，设置JAVA_HOME HADOOP_HOME PATH环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop/
export PATH=$PATH:/home/hadoop/hadoop/bin/

修改conf/下的core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>
</configuration>

mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

7.在/home/hadoop下建tmp/ hdfs/data hdfs/name三个目录
hadoop namenode -format
格式化hdfs

8.bash start_all.sh启动hadoop进程和监控进程
可以在50030 50060 50070监听jobtraker tasktraker hdfs
监控的端口和实际hdfs的端口不是同一个。