Day3-hadoop伪分布式集群安装

hadoop伪分布式集群安装

• 1.下载好VMware安装虚拟机
  (1)打开VMware,点击文件->点击虚拟机->创建新的虚拟机

• 2.配置Linux系统
  （1）时间设置
  选择和自身电脑时间一样即可

  （2）软件选择
  点击软件选择->点击GHOME->点击完成

  （3）安装位置（配置磁盘分区）
  点击其他存储设置->点击我要配置分区->点击完成

  （4）手动添加分区
  点击选择为标准分区->点击+（加号）

  （a）/boot -> 1G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击+（加号）
  （b）swap -> 4G -> 添加挂载点 -> 点击+（加号）
  （c）/ -> 45G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击完成
  （5）kdump
  把启用kdump前的对勾去掉

  （6）网络和主机名
  打开网络按钮 -> 修改主机名 -> 点击应用 -> 点击完成

  （7）SECURITY POLICY

  （8）开始安装（慢慢等待）
  （9）设置root用户密码（一定不要忘了）
  （10）一直前进下一步 ，安装完，重启，重启后切换为root用户

• 3.网络配置
  （1）先使用VMware中的虚拟网络编辑器，在nat中来改配置网络
  （2）之后在本机中更改网络适配器设置，打开VMware8来修改IPv4和ipv6的地址
  （3）在Linux打开终端
  输入命令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 回车
  执行systemctl restart network命令，重启网络服务

关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld.service

重启

reboot

• 4.正式开始伪分布式安装
• （1）为了便于文件配置和虚拟机通信，通常会对主机名和IP做映射配置，在虚拟机执行vi /etc/hosts命令编辑映射文件hosts
  （2）关闭防火墙
  查看防火墙状态（firewall-cmd --state）
  （3）停止防火墙服务：systemctl stop firewalld
  （4）禁用防火墙服务，确保其在系统重新启动后不会自动启动
  systemctl disable firewalld
  （5）先使用Xshell和Xftp上传解压jdk和hadoop
  （6）配置文件
  （7）修改 core-site.xml 文件，注意 fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致
  （8）修改 hdfs-site.xml 文件，把 hdfs 中文件副本的数量设置为 1，因为现在伪分布集群只有一个节点
  （9）修改 mapred-site.xml，设置 mapreduce 使用的资源调度框架
  （10）修改 yarn-site.xml，设置 yarn 上支持运行的服务和环境变量白名单
  （11）格式化 namenode
  如果在后面的日志信息中能看到这一行，则说明 namenode 格式化成功。
  common.Storage: Storage directory xxx has been successfully
  formatted.
  （12）修改start-dfs.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容：（HDFS_DATANODE_USER=root
  HDFS_DATANODE_SECURE_USER=hdfs
  HDFS_NAMENODE_USER=root
  HDFS_SECONDARYNAMENODE_USER=root）
  （13）修改stop-dfs.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容：（HDFS_DATANODE_USER=root
  HDFS_DATANODE_SECURE_USER=hdfs
  HDFS_NAMENODE_USER=root
  HDFS_SECONDARYNAMENODE_USER=root）
  （14）修改 start-yarn.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容：（YARN_RESOURCEMANAGER_USER=root
  HADOOP_SECURE_DN_USER=yarn
  YARN_NODEMANAGER_USER=root）
  （15）修改stop-yarn.sh 文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容：（YARN_RESOURCEMANAGER_USER=root
  HADOOP_SECURE_DN_USER=yarn
  YARN_NODEMANAGER_USER=root）
  （16）启动 hadoop 集群：（sbin/start-all.sh）
  （17）验证集群进程信息
  执行 jps 命令可以查看集群的进程信息，除了jps 这个进程之外还需要有 5 个进程才说明集群是正常启动的。
  -总结
  在网络配置中要注意ip地址要跟本机相匹配哦！