Hdoop集群搭建

最新推荐文章于 2025-09-13 12:59:37 发布

原创最新推荐文章于 2025-09-13 12:59:37 发布 · 234 阅读

1 ·

CC 4.0 BY-SA版权

大数据基础阶段专栏收录该内容

6 篇文章

订阅专栏

搭建完全分布式

1.安装jdk
2.安装hadoop
3.配置环境变量
4.设置无密登录
5.设置hadoop配置文件
6.克隆三个虚拟机
右键—>管理—>克隆---->创建完整克隆—>设置虚拟机路径
7. 关闭防火墙
$>chkconfig iptables --list
8. 修改静态IP+修改主机名
查看IP、网关、子网掩码
8.修改静态IP+修改主机名
1.查看IP、网关、子网掩码
2.查看MAC地址是否与eth0匹配
$>cd /etc/udev/rules.d/
$>gedit 70-persistent-net.rules
SUBSYSTEM==“net”, ACTION==“add”, DRIVERS=="?", ATTR{address}“00:0c:29:6a:af:f2”, ATTR{type}“1”, KERNEL=="eth", NAME=“eth0”
eth0对应的MAC地址为：“00:0c:29:6a:af:f2”
3.修改【/etc/sysconfig/network-scripts/ifcfg-eth0】
$>su root
$>gedit /etc/sysconfig/network-scripts/ifcfg-eth0
修改：
BOOTPROTO=“static” #原值为DHCP
HWADDR=“00:0c:29:6a:af:f2”
添加：
IPADDR=“192.168.14.40” #静态IP
NETMASK=“255.255.255.0” #子网掩码
NETWORK=“192.168.14.0” #子网
GATEWAY=“192.168.14.2” #网关
DNS1=“192.168.14.2” #网关
4.重启
$>reboot
5.验证：
$>ping 192.168.14.39
6.修改机器名
$>vi /etc/sysconfig/network
修改：HOMENAME=slave01
$>vi /etc/hosts
追加：
192.168.14.40 slave01
192.168.14.41 slave02
192.168.14.42 slave03
$KaTeX parse error: Expected 'EOF', got '#' at position 108: \dots名@机器名://路径 #̲如果拷贝为目录，则-r； \dots$ {hadoop.tmp.dir}/dfs/name
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
[yarn-site.xml]
yarn.nodemanager.aux-services=mapreduce_shuffle
[mapred-site.xml]
mapreduce.framework.name=yarn
[slaves]
每行添加机器名，作为datanode节点开启的配置文件
slave01
slave02
slave03
注意:所有配置文件修改完成后，需远程拷贝
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave01:~/soft/hadoop/etc/
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave02:~/soft/hadoop/etc/
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave03:~/soft/hadoop/etc/
修改默认配置文件软链接，所有节点上操作以下指令：
$>cd $HADOOP_HOME/etc
$>rm -r hadoop
$>ln -s full_hadoop/ hadoop
10.格式化
$>rm -r /home/hadoop/tmp/hadoop-hadoop
$>hdfs namenode -format #在master节点上执行
11.测试
$>start-dfs.sh #在master节点上执行
$KaTeX parse error: Expected 'EOF', got '#' at position 25: \dotsrn.sh #̲在master节点上执行 \dots$ > jps
4933 SecondaryNameNode
5095 ResourceManager
4700 NameNode
5166 Jps
slave01 $> j p s 4021 D a t a N o d e 4262 J p s 4155 N o d e M a n a g e r s l a v e 02$ > jps
3752 DataNode
3866 NodeManager
3963 Jps