spark | |
---|---|
master | 8989(默认8080) |
历史服务 | http://CentOS01:18080 hdfs://CentOS01:8020/directory |
spark | http://CentOS01:8080/ |
spark配置外部hive后 如果要在spark-shell中查询hive,必须先启动hive(自定义hive启动文件hiveservices.sh)
spark-shell退出指令 :quit
hive | |
---|---|
10000 | 与hiveserver2连接的端口号 |
10002 |
启动前启动mysql、hadoop
(自定义hive启动文件hiveservices.sh)数据存储与hdfs上
set hive.execution.engine=tez;
yarn | |
---|---|
历史页面 | 主机地址://8088 |
启动kafka前要启动zookeeper
➢Spark 查看当前 Spark-shell 运行任务情况端口号:4040(计算)
➢ Spark Master 内部通信服务端口号:7077
➢ Standalone 模式下,Spark Master Web 端口号:8080(资源)
➢ Spark 历史服务器端口号:18080
➢ Hadoop YARN 任务运行情况查看端口号:8088