安装Hadoop

Hadoop伪分布式集群搭建

基于大电脑配置问题,在这里给他家分享一下伪分布式集群搭建的配置方式本文内容仅仅只是为了配置比较低的电脑来完成分布式集群搭建的学习

前提:
1. 虚拟机网络配置
2. 修改主机名为:hadoop100
3. 还有配置主机名和IP的映射关系(便于使用主机名访问虚拟机)
4.关闭防火墙 service iptables stop;chkconfig iptables off
5. 虚拟机上必须配置JDK

第一步:

下载Hadoop地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/
用文件传输工具或者其他方式将hadoop-2.6.4.tar.gz导入/usr/local/ 这个路径下
进入/usr/local文件加下 解压hadoop文件
在这里插入图片描述

第二步:配置环境变量

vi /etc/profile文件 添加变量
在这里插入图片描述
添加完成后 执行命令(一定要执行)

 source /etc/profile

第三步:(配置文件较多,请按照顺序严格配置)

修改/usr/local/hadoop-2.6.4/etc/hadoop文件夹下的配置文件
1.修改Hadoop-env.sh
在这里插入图片描述
2.修改core-site.xml

    <property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9000</value> //这里的hadoop100就是你的主机名后面的端口号不要乱改
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop-2.6.4/data/tmp</value>
	</property>

3.修改hdfs-site.xml

    <property>
		<name>dfs.replication</name>
		<value>1</value>默认副本数是3个 量力而行
	</property>
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop100:50090</value>
    </property>

4.修改Yarn-env.sh
在这里插入图片描述
5.配置Yarn-site.xml

    <property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>

	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop100</value>
	</property>

6.配置mapred-env.sh
在这里插入图片描述
7.Mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

8.Slaves
在这里插入图片描述

第四步:设置免密码登录

1.执行命令
ssh-keygen -t rsa 不断回车
2.复制
ssh-copy-id hadoop100
3.验证
ssh hadoop100

第五步:格式化文件系统(切记只执行一次,执行两次会出问题)

执行hadoop namenode -format
在这里插入图片描述

第六步:启动

start-dfs.sh

第七步:验证

在这里插入图片描述

出现四个运行信息就算配置配置完成了!!!

访问192.168.124.100:50070 输入自己的ip地址访问

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值