hadoop常用信息(脚本、端口号、配置文件)

本文介绍了Hadoop集群管理中涉及的脚本操作,包括节点间文件同步、集群启动以及查看Java进程。同时,详细列出了在Hadoop3和Hadoop2中HDFS、YARN和历史服务器的常用端口号,帮助理解集群的运行状态和交互方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

脚本

节点之间同步文件

#!/bin/bash



if [ $# -lt 1 ]
then 
    echo not enough argument!
    exit;
fi

for host in hadoop1 hadoop2 hadoop3
do 
    echo  =======================$host=====================
    
    for file in $@
    do
       if [ -e $file ]
          then
	   	pdir=$(cd -P $(dirname $file); pwd)
		fname=$(basename $file)
		ssh $host "mkdir -p $pdir"
		rsync -av $pdir/$fname $host:$pdir
	  else
		echo $file does not exist!
       fi
    done
done



启动集群的hdfs 、yarn、历史记录服务器

#!/bin/bash

if [ $# -lt 1 ]
    then echo "not enought arguments"
    exit;
fi


case $1 in
"start")
	echo "=====================start hadoop================="
	echo "=====================start HDFS==================="
	ssh hadoop1 "/opt/module/hadoop-3.1.4/sbin/start-dfs.sh"
	echo "=====================start yarn==================="
	ssh hadoop2 "/opt/module/hadoop-3.1.4/sbin/start-yarn.sh"
	echo "=====================start history server=============="
	ssh hadoop2 "/opt/module/hadoop-3.1.4/bin/mapred --daemon start historyserver"
;;

"stop")
	echo "====================stop hadoop====================="
	echo "====================stop history server================="
	ssh hadoop2 "/opt/module/hadoop-3.1.4/bin/mapred --daemon stop historyserver"
	echo "====================stop yarn==========================="
	ssh hadoop2 "/opt/module/hadoop-3.1.4/sbin/stop-yarn.sh"
	echo "====================stop HDFS============================"
	ssh hadoop1 "/opt/module/hadoop-3.1.4/sbin/stop-dfs.sh"
;;
*)
	echo "wrong input arguments"
;;
esac



看所有节点上的java进程

#!/bin/bash

for host in hadoop1 hadoop2 hadoop3
do
	echo "================$host=================="
	ssh $host "jps"
done


端口号

  1. hadoop3:
    HDFS内部通信常用端口:8020/9000/9820
    HDFS对用户的web端口:9870
    Yarn查看任务的web端口:8088
    历史服务器的web端口:19888

  1. hadoop2:
    HDFS内部通信常用端口:8020/9000
    HDFS对用户的web端口:50070
    Yarn查看任务的web端口:8088
    历史服务器的web端口:19888


配置文件

版本常用配置文件
hadoop3core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers
hadoop2core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值