Spark
蓝莲骑士
数据挖掘与分析
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark中判断DataFrame是否为空
没有找到直接判断DataFrame是否为空的方法,这里转换成数组后判断数组是否为空 def isEmpty(df: DataFrame): Boolean = { df.collect().isEmpty } 如果有更好的方法,欢迎交流学习。原创 2020-12-24 16:58:36 · 5302 阅读 · 4 评论 -
Spark提交任务Yarn-Cluster模式下任务日志的查看
前情提要 任务以cluster模式提交命令 Old: --name 任务名称 --master yarn-cluster 该命令已经过时:Warning: Master yarn-cluster is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. New...原创 2019-09-03 17:54:18 · 4086 阅读 · 0 评论
分享