
技术人生
主要记录日常的一些计划,属于心路历程
疯狂的大山鸡
腾讯高级工程
展开
-
总结最近两周在使用spark scala下遇到一些坑
耐心看日志信息: spark集群有主控driver和executor的区别,通常我们会在driver端打出一些日志作为提示,但如果把日志打到了executor上执行的算子上,那么日志旧不能再sparksubmitweb上查询到(当时花了好久定位日志…)。 通常运行出来的日志比较长,耐心看日志也可以查到其中什么原因导致的出错。 通常foreach语句使用在collect之后的driver端数据,否者中途生成的变量都还是再executor端,没有会中统计。 写代码的时候需要考虑当前数据量有多大,是放在driv.原创 2020-07-17 18:18:23 · 353 阅读 · 0 评论 -
节日快乐
1024程序员节日快乐 不太喜欢这种打着谐音的人造节日,如520,521,1111之类的,不过生活如此繁忙偶尔找个借口慰藉一下也不差。 祝我在未来的工作中能更加顺利,做个优秀的程序员吧~ ...原创 2019-10-24 09:50:04 · 134 阅读 · 0 评论