- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark - 数据倾斜 - Partitioner源码分析
spark - 数据倾斜 - Partitioner源码分析为何会出现数据倾斜， 如何处理数据倾斜问题？有大数据处理经验的朋友应该都遇到过数据倾斜的问题，即数据分布不均匀导致任务分配不均匀，从而造成 "一个人累死，其他人闲死" 的情况。其他人在处理完任务之后，要一直等待这个未完成的任务，从而导致总任务时间很长，或者这个任务没有做完，这个人扛不住病倒了，那么整个任务也就失败了，也就是可能...
2019-03-29 17:41:13
237
原创 高效协同 - 如何提问
最近经常有朋友来问我一些问题，我也很乐意一起讨论技术或者非技术的东西。有的朋友提的问题，实在是不清楚想要问什么，又不好意思不理会，但一来一往问答式的交流往往会浪费双方很多的时间。我自己在向别人寻求帮助时一般按这种形式说明情况：1. 讲背景讲清楚问题产生的背景，比如为什么这样做，想要干什么。2. 讲过程讲清楚做了什么事情导致了这个问题，并且对于这个问题做了哪些尝试，能得出哪些结论...
2019-03-29 16:23:45
562
原创 浅谈加班 - 透过加班看管理
浅谈加班 首先表明我的观念： 我接受加班行为，但是很多时候不接受加班动机。解释一下：接受加班行为：假如由于一些无法避免的原因，不能够在工作时间内完成相应的任务，比如项目时间紧，任务重等，我自愿为此付出一定的个人时间来加班，此时的加班工作是为公司带来收益，是替公司赚钱，大家心里头乐意；不接受加班动机：很多时候并非用户刻意刁难，反而加班大多在为项目经理或者团队某个leader的失误...
2019-02-24 20:13:53
590
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人