
troubleShooting
淩辰0c0
这个作者很懒,什么都没留下…
展开
-
spark streaming+kafka运行batch process time不稳定问题梳理
...转载 2019-07-10 17:36:04 · 1187 阅读 · 0 评论 -
Spark程序排错 DAG Scheduler StackOverflowError
Spark程序排错 DAG Scheduler StackOverflowError场景最近在工作中遇到新的数据ETL场景:数据部分在MySQL库中,主要的细节日志数据使用URL方式存储在阿里云OSS中存储,需要把所有日志数据读出来存储到数据仓库中(日志数据存储方式涉及到私有化部署一些问题导致)。代码如下val dataArr = logInfo .filter(row...原创 2019-08-13 15:28:40 · 177 阅读 · 0 评论