Centos Mini版配置hadoop环境

最新推荐文章于 2024-02-20 10:27:40 发布

H_uyong

最新推荐文章于 2024-02-20 10:27:40 发布

阅读量785

点赞数 3

CC 4.0 BY-SA版权

文章标签： hadoop入门

本文链接：https://blog.youkuaiyun.com/H_uyong/article/details/89519468

本文详细介绍了在Centos系统上配置Hadoop环境的步骤，包括基础命令安装、静态IP配置、SSH免密登录、Hadoop的下载、解压、配置环境变量以及伪分布式和完全分布式集群的搭建过程。通过此文，读者可以学习到如何在多台Centos主机间同步配置文件并建立Hadoop集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基础准备

安装基础命令

yum intall ifconfig

根据提示安装yum install tool…
安装vim yum install vim
2. 配置静态ip
a) 进入到网卡配置目录 cd /etc/sysconfig/network-scripts/
b) 查看网卡信息和名称 ifconfig
在这里插入图片描述
c) 进入ifcfg-ens33，配置如下

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"     #标注为静态
IPADDR=192.168.241.201   #ip地址
NETMASK=255.255.255.0   
GATEWAY=192.168.241.2   #网关
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="41f55b52-3010-458a-92c6-f8f5341d754b"
DEVICE="ens33"
ONBOOT="yes"
IPV6_PRIVACY="no"

d) 添加dns服务器 vim /etc/resolv.conf
添加如下信息

nameserver 114.114.114.114
nameserver 114.114.114.115

e) 重启网卡服务 systemctl restart network
3. openssh-server 准备，由于自带了ssh，这里就不展示了
4. 修改主机名 vim /etc/hostname ps:修改成有规律的，方便搭集群
在这里插入图片描述
5. 配置hosts文件，这里就是配置dns域名解析，将其他节点的ip地址映射成相应的别名
a) vim /etc/hosts

6. 关闭防火墙 systemctl stop firewalld.service
禁止开机启动：systemctl disable firewalld.service
7. 关闭Selinux：vim /etc/selinux/config
在这里插入图片描述
8. Ssh免密登陆
ssh-keygen -t rsa 一路回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

可用ssh localhost进行测试
9. ntp 时间同步准备
a) 安装ntp：yum intall –y ntp
b) 设置ntp开机自动启动

systemctl enable ntpd.service
配置java环境

oracle官网下载jdk-8u202-linux-x64.tar.gz
在/opt下面新建java文件夹，mkdir java
利用winScp上传到centos的/opt/java
解压到当前目录 tar -zxvf jdk-8u202-linux-x64.tar.gz

最低0.47元/天解锁文章

200万优质内容无限畅学