hadoop集群搭建

本文档详细介绍了如何在CentOS7虚拟机中进行基本的网络配置,包括设置静态IP地址、修改主机名和配置防火墙等。此外,还提供了SSH免密码登录的设置步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注:本人虚拟机装的是centos7,切换VM中的系统和本地电脑的快捷键是ctrl+alt

VMware配置

  1. 查看mac地址和本机的ip地址,类似ifconfig

    ip addr
    这里写图片描述

  2. 虚拟机设置

    重新安装VM产品时,子网ip会变,之前的虚拟机系统如果已经设置好,需要改成相同的IP

  3. 虚拟机DHCP设置

    设置linux系统的ip在起始和结束ip段之间

  4. 修改网络配置文件,查看当前已经存在的网络配置文件,centos7的默认配置文件不是etho,而是ifcfg-eno16777736

    cd /etc/sysconfig/network-scripts/ 
    ls
    vim ifcfg-eno16777736
    这里写图片描述

  5. 如果上面的步骤都已配置完成,打开虚拟机出现有线电缆被拔出而导致的无法上网的情况时,需要启动Windows系统计算机管理中的VMware DHCP Service和VMware NAT Service服务

linux 修改主机名称的方式

  1. 以root用户登录,或者登录后切换到root用户,然后在提示符下输入hostname命令,可以看到当前系统的默认主机名为localhost.localdomain。

  2. vim /etc/hostname 将localhost.localdomain改为你想要的主机名字,改完之后如下
    这里写图片描述

  3. 输入hostname查看主机名字
    这里写图片描述

  4. 设置主机映射,更改/etc下的hosts文件,在提示符下输入vi /etc/hosts,输入格式为:本机IP 主机名(可以设置多个主机名以空格隔开)
    这里写图片描述

linux 防火墙设置

  1. 关闭/开启/重启防火墙:

    service iptables stop/start/restart

  2. 禁止开机启动:

    service iptables disable

  3. 查看防火墙状态命令:

    firewall-cmd --state

配置ssh免登陆

注:三台虚拟就都要执行以下的操作

  1. ssh-keygen -t [rsa|dsa]
    将会生成密钥文件和私钥文件 id_rsa,id_rsa.pub或id_dsa,id_dsa.pub 然后一路回车键

  2. cat id_rsa.pub >> ~/.ssh/authorized\_keys  
  3. 修改权限,需要注意的是.ssh和authorized_keys都只有用户自己有写权限。否则验证无效。

    $ chmod 600 ~/.ssh/authorized_keys 
    $ chmod 700 -R ~/.ssh

  4. 比如在192.168.91.129机器访问192.168.91.130 只需要在129机器上键入

    $ ssh 192.168.91.130

  5. 第一次输入会出现提示,再次重复第四步直接进入192.168.91.130代表成功

<think>好的,用户想了解如何搭建Hadoop集群的详细步骤和配置。首先,我需要回忆之前学过的Hadoop集群搭建知识,确保步骤正确。记得Hadoop集群通常分为完全分布式模式,需要多台机器,比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点,并测试SSH连接,还有上传安装包。可能这些是关键的步骤。 接下来,我应该按照逻辑分步骤讲解。首先准备环境,包括服务器、Java安装、主机名和hosts文件的配置,以及SSH免密登录的设置。这些都是搭建集群的基础。然后,安装Hadoop,解压安装包,配置环境变量。接下来是核心的配置文件修改,比如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及workers文件。每个配置文件的作用需要简要说明,比如core-site.xml设置NameNode地址,hdfs-site.xml配置副本数等。 配置完成后,需要同步到其他节点,这里可以用scp命令或者rsync。然后初始化HDFS,启动集群,最后验证是否成功,比如jps查看进程,或者访问Web界面。可能用户在实际操作中会遇到问题,比如SSH连接失败,端口占用,或者配置文件错误,这些常见问题应该提及解决方案。 另外,用户的问题可能涉及到具体的配置参数,比如副本数设置成多少合适,或者资源管理器的配置,这些需要根据集群规模给出建议。比如小型集群副本数可以设为2,但生产环境通常3。还有安全模式的问题,可能需要关闭防火墙或者配置SELinux。 需要确保所有的命令和路径都是正确的,比如JAVA_HOME的路径是否正确,Hadoop的安装目录是否一致。同时,用户可能需要知道如何验证集群是否正常工作,比如运行一个测试的MapReduce作业,或者检查日志文件。 最后,生成相关问题的时候,应该围绕用户可能进一步关心的问题,比如配置参数优化、添加节点、安全配置、性能调优等。这些能帮助用户更深入理解集群管理和维护。</think>### Hadoop集群搭建步骤详解 #### 一、环境准备(3节点示例) 1. **服务器规划** - hadoop102(NameNode + DataNode) - hadoop103(ResourceManager + DataNode) - hadoop104(SecondaryNameNode + DataNode) 2. **基础配置** - 所有节点安装JDK 8+并配置环境变量: ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - 配置主机名和/etc/hosts文件: ```bash 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 ``` - 配置SSH免密登录: ```bash ssh-keygen -t rsa ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104 ``` #### 二、Hadoop安装与配置 1. **解压安装包** ```bash tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/ ``` 2. **配置环境变量** ```bash export HADOOP_HOME=/opt/module/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. **修改核心配置文件** - `etc/hadoop/hadoop-env.sh`: ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - `etc/hadoop/core-site.xml`: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> </configuration> ``` - `etc/hadoop/hdfs-site.xml`: ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` #### 三、集群同步与启动 1. **分发配置到所有节点** ```bash scp -r /opt/module/hadoop-3.3.6 hadoop103:/opt/module/ scp -r /opt/module/hadoop-3.3.6 hadoop104:/opt/module/ ``` 2. **初始化HDFS** ```bash hdfs namenode -format ``` 3. **启动集群** ```bash start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` #### 四、验证集群状态 1. **进程验证** ```bash jps # hadoop102应显示NameNode/DataNode # hadoop103应显示ResourceManager/NodeManager ``` 2. **Web界面验证** - HDFS状态:`http://hadoop102:9870` - YARN状态:`http://hadoop103:8088` #### 五、常见问题解决 1. **SSH连接失败** - 检查防火墙状态:`systemctl stop firewalld` - 验证公钥是否完整复制到`~/.ssh/authorized_keys` 2. **端口冲突** - 使用`netstat -tunlp | grep 8020`检查默认端口占用情况 3. **HDFS无法格式化** - 删除所有节点的`/tmp/hadoop-*`目录后重试[^1]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值