hadoop的伪分布环境安装

最新推荐文章于 2025-12-27 18:26:33 发布

原创最新推荐文章于 2025-12-27 18:26:33 发布 · 412 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文为Hadoop初学者提供详细的环境搭建步骤，包括VMware、CentOS安装，以及Hadoop集群配置过程。涵盖SSH无密码登录设置、环境变量配置、HDFS格式化等关键操作。

作为一个hadoop的初学者,我觉得写一篇入门级别的hadoop环境搭建分布很有必要,记录一下.另外本人第一次书写这样的blog.希望各路大神多多指教.

首先,准备好相关系统软件

vmware14 (大小140M)
centos7(大小4G)
hadoop-0.20.2 (大小42.5M)
jdk-7u25-linux-x64.tar (大小91M)

然后安装vmware(详细过程不多讲)
安装centos7
安装vmwaretools(方便文件互传)

这就是安装完成的效果

然后改hosts hostname
ifconfig查看ip地址

然后建立文件夹.放在usr/local/hadoop下
mkdir -p /usr/local/hadoop/tmp
mkdir –P /usr/local/java
rmdir

查看用户的组别信息 cat /etc/group
然后给该文件夹赋权 chown -R hadoop:hadoop /usr/local/hadoop
然后配置SSH无密码登入
ssh-keygen -t rsa

修改java的环境变量vim /etc/profile

set java environment

export JAVA_HOME=/usr/local/java/jdk1.6.0_41/

export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_CLASSPATH=/usr/local/hadoop/hadoop-0.20.2:/usr/local/hadoop/hadoop-0.20.2/lib

set java enviroment

export HADOOP_HOME=/usr/local/hadoop/hadoop-0.20.2

export HADOOP_HOME_WARN_SUPPRESS=1

JAVA_HOME=/usr/local/java/jdk1.6.0_41

JRE_HOME=/usr/local/java/jdk1.6.0_41/jre

PATH= $JAVA_HOME/bin:$ JRE_HOME/bin: $HADOOP_HOME/bin:$ PATH

CLASSPATH=.: $JAVA_HOME/bin/dt.jar:$ JAVA_HOME/lib/tools.jar

export JAVA_HOME CLASSPATH PATH

   <name>fs.default.name</name>

   <value>hdfs://NameNode:9000</value>

</property>



<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value> 

</property>

vi core-site.xml
[root@h0 conf]# vi hdfs-site.xml
[root@h0 conf]# vi mapred-site.xml
[root@h0 conf]# vi masters
[root@h0 conf]# vi slaves

完成之后就复制虚拟机

然后开始配置SSH 和 HOSTS
ssh-keygen -t rsa
生成ssh

namenode 无法启动删除format时禁止的目录
50070无法访问关闭防火墙,清理缓存 systemctl stop firewalld.service #停止

导入项目要maven 导入中的reimport
echo “hello world”>text1.txt

bin/hadoop dfs -put /root/input in
bin/hadoop dfs -ls ./in/*

bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out

bin/hadoop dfs -cat ./out/*

进入退出安全模式
bin/hadoop dfsadmin -safemode enter
bin/hadoop dfsadmin -safemode leave

直接进入
bin/hadoop dfsadmin -enter

添加节点,
1.安装好hadoop
2.把namenode 有关配置文件复制到该节点
3.修改matster 和slaves增加
4.ssh免密码
5.单独启动节点上的datanode和tasktracker
hadoop-daemon.sh start datanode/tasktracker
6.运行start-balancer.sh 进行数据负载均衡

启动单个特定后台进程
./start-dfs.sh
./start-mapred.sh