Haoop生态圈各组件的启动和关闭脚本,以及验证是否成功开启方法

自己总结了一些hadoop生态圈里各种组件的启动和关闭的脚本,我把这些称为一条龙服务,哈哈,放出来供大家参考使用。

开始:

--打开虚拟机master slave1 slave2
--xshell连接三台虚拟机

slave2主机ip: 192.168.22.121 密码:123  
			(虚拟机ip 192.168.22.83)

1.hdfs和yarn

hadoop用户下
 	start-all.sh
	stop-all.sh
		启动了hadoop集群中的:hdfs和yarn	
	jps
		master:
			3714 ResourceManager
			3828 NodeManager
			3226 NameNode15030990262
			3341 DataNode
			3535 SecondaryNameNode
			3871 Jps
		slave:
			3185 NodeManager
			3417 Jps
			3067 DataNode

验证:hadoop fs -ls / 等可用

2.zookeeper

启动zkServer(三节点)
zkServer.sh start

方法一:命令(在hadoop用户的hadoop家目录下) 
	zkServer.sh start/stop/status

方法二:使用放入zookeeper/bin下的自定义zkStop和zkStart.sh脚本
	zkServer.sh status查看节点类型
	(leader follower)
	查看进程
	ps -ef|grep zookeeper
	jps
	QuorumPeerMain

通过zkCli进入到zkServer里面
zkCli.sh

quit
退出

3.hbase

master的hadoop用户下:
	启动服务
		start-hbase.sh 

	jps
		master:
			4632 HMaster
		slave:
			3677 HRegionServer

	进入hbase
		hbase shell

	查看hbase中的表
		list

4.mysql Hive

------------------hadoop下(hdfs和yarn启动,忽略次步)
HDFS
	su hadoop
	start-all.sh
	jps

	解除安全模式
	hadoop dfsadmin -safemode leave

-------------------root下
启动Mysql步骤   
	
	启动mysql
	mysqld_safe --user=mysql & 
	& 后台运行

	ps -ef|grep mysql
	查看进程是否启动

	mysql -uroot -proot 
	进入mysql

-----------------hadoop下
启动hive步骤

	启动hiveserver2
	nohup hive --service hiveserver2 & 

	启动metastore
	nohup hive --service metastore & 

	查看进程 hive 的server2是否启动
	ps -ef|grep hive

	hadoop用户下
		hive(指令 进入)

5.sqoop启动

sqoop启动
直接在hadoop下输入指令
	sqoop

6.azkaban启动

启动web服务器

cd /usr/local/azkaban/

在web目录下(root用户)
	bin/azkaban-web-start.sh
在executor目录下
	bin/azkaban-executor-start.sh ./

ps -ef|grep azkaban

浏览器:
	https://192.168.22.80:8443

	user:admin
	passwd:admin

使用方法:

	vim command.job
		#command.job
		type=command
		command=echo 'hello'

	job文件、jar包
	打包成zip文件

7.Spark启动

hadoop下
 start-spark.sh
 stop-spark.sh

stand lone模式:master worker worker
spark on yarn模式:(需要配置)ResourceManager NodeManager NodeManager

目前就整理了这些啦,持续更新中…

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值