cafebar123的专栏

大数据开发中遇到的鬼魅魍魉，清除50%以上经验总结@TOC导语一部分工作原因，一部分懒，一部分觉得没收益，没怎么写博客。在做大数据的一些事情，与其是做事，不如是找虐。大数据这些开源组件与工具，看上去很美好，实际问题多多，受虐多多。趁着最近对自己做了点思考，写点总结。内容还没想好，后续再添。小鬼山鬼音狱鬼毒鬼鬼城主红邪鬼蛊之鬼炼狱鬼鬼城主宝仙鬼宝塔巨鬼死神鬼...

spark调优是一个头疼的事，这个疼在什么地方呢？ （1）spark将内部几乎完全封装，类似黑箱，不了解内部机理； （2）spark 调优参数众多，参数之间关联很多； （3）spark运行在集群上，本地调试功能有限。...

待更新

待更新

最近公司搞一个spark集群项目,期间会对spark集群进行调优.虽然调优的建议网上有很多,但是通过具体实践,发现不同的场景,调节的参数还是有不一样的地方.现记录一下最近学到的一些实践手段吧.(1)要留一点资源给除spark以外的应用.我们用的是Spark-On-Yarn资源调度,每台机器有24核心,每台机器最大内存有128G,在yarn-site.xml里面,有人很可能把核心数和资源