
SparkStreaming
Lifecycle-log4j
如果有一天我们觉得自己碌碌无为,那是因为我们自己没有努力让自己活的更精彩。
展开
-
SparkStreaming程序自动重启脚本2
#!/usr/bin/env bash ############################################################### #检测实时程序是否存在的脚本,若不存在,则重启 #Param 1 实时程序名称后半部分 #Param 2 启动程序脚本名称 #Param 3 调度周期 ############################################################### #定义重启方法 function restart(){ cou原创 2020-06-18 14:45:05 · 446 阅读 · 0 评论 -
spark streaming程序启动配置参数
spark streaming启动参数 spark-submit 运行方式 –master yarn-cluster 指定driver端得到核数 –driver-cores 4 指定driver端的内存 –driver-memory 2G 指定excutor的个数 –num-executors 10 指定每个executor的个数 –executor-cores 2 指定每个executor的内存 –executor-memory 4G 指定堆外内存 –conf spark.yarn.executor.me原创 2018-12-11 21:23:40 · 2169 阅读 · 0 评论