最近学了spark,启动日志服务:sbin/start-history-server.sh时一直报错,其他错误基本上都可以找得到,记录一个找了好久都找不到的错误以及解决方式
错误排查
首先得先确定你启动spark时集群已经启动
按照
启动master:
cd /opt/installs/spark
sbin/start-master.sh
启动所有worker:
sbin/start-workers.sh 启动日志服务:
sbin/start-history-server.sh
这个顺序启动的话 查看进程应该是这样的
然后查看日志启动时报错是不是因为因为没有对应文件夹报错
如果是因为没有文件夹报错就创建该文件夹
创建文件夹 mkdir /tmp/spark-events
hdfs dfs -mkdir -p /spark/eventLogs
再启动即可
已经有文件夹且进程都已经启动了以后再次启动日志服务监控界面还是报错
这个就是当时纠结了我好久的问题