自己总结了一些hadoop生态圈里各种组件的启动和关闭的脚本,我把这些称为一条龙服务,哈哈,放出来供大家参考使用。
开始:
--打开虚拟机master slave1 slave2
--xshell连接三台虚拟机
slave2主机ip: 192.168.22.121 密码:123
(虚拟机ip 192.168.22.83)
1.hdfs和yarn
hadoop用户下
start-all.sh
stop-all.sh
启动了hadoop集群中的:hdfs和yarn
jps
master:
3714 ResourceManager
3828 NodeManager
3226 NameNode15030990262
3341 DataNode
3535 SecondaryNameNode
3871 Jps
slave:
3185 NodeManager
3417 Jps
3067 DataNode
验证:hadoop fs -ls / 等可用
2.zookeeper
启动zkServer(三节点)
zkServer.sh start
方法一:命令(在hadoop用户的hadoop家目录下)
zkServer.sh start/stop/status
方法二:使用放入zookeeper/bin下的自定义zkStop和zkStart.sh脚本
zkServer.sh status查看节点类型
(leader follower)
查看进程
ps -ef|grep zookeeper
jps
QuorumPeerMain
通过zkCli进入到zkServer里面
zkCli.sh
quit
退出
3.hbase
master的hadoop用户下:
启动服务
start-hbase.sh
jps
master:
4632 HMaster
slave:
3677 HRegionServer
进入hbase
hbase shell
查看hbase中的表
list
4.mysql Hive
------------------hadoop下(hdfs和yarn启动,忽略次步)
HDFS
su hadoop
start-all.sh
jps
解除安全模式
hadoop dfsadmin -safemode leave
-------------------root下
启动Mysql步骤
启动mysql
mysqld_safe --user=mysql &
& 后台运行
ps -ef|grep mysql
查看进程是否启动
mysql -uroot -proot
进入mysql
-----------------hadoop下
启动hive步骤
启动hiveserver2
nohup hive --service hiveserver2 &
启动metastore
nohup hive --service metastore &
查看进程 hive 的server2是否启动
ps -ef|grep hive
hadoop用户下
hive(指令 进入)
5.sqoop启动
sqoop启动
直接在hadoop下输入指令
sqoop
6.azkaban启动
启动web服务器
cd /usr/local/azkaban/
在web目录下(root用户)
bin/azkaban-web-start.sh
在executor目录下
bin/azkaban-executor-start.sh ./
ps -ef|grep azkaban
浏览器:
https://192.168.22.80:8443
user:admin
passwd:admin
使用方法:
vim command.job
#command.job
type=command
command=echo 'hello'
job文件、jar包
打包成zip文件
7.Spark启动
hadoop下
start-spark.sh
stop-spark.sh
stand lone模式:master worker worker
spark on yarn模式:(需要配置)ResourceManager NodeManager NodeManager
目前就整理了这些啦,持续更新中…