cafebar123的专栏

昨天参加了魅族大数据平台的一个技术分享活动,话题是《大数据治理之路》.魅族大数据平台工作人员分享了一些他们的大数据治理经验,很有内容,现整理一些如下. 首先,他们整理了一个治理流程,架构图(本人整理,非原版,下文图片亦是如此)如下: 然后，依照架构图，大致讲了架构图中的每个模块，以及将模块串联起来的一个管理流程，流程图如下： 流程图上面，其中，“主数据管理” 模块是本人根据理解加的，...

最近公司搞一个spark集群项目,期间会对spark集群进行调优.虽然调优的建议网上有很多,但是通过具体实践,发现不同的场景,调节的参数还是有不一样的地方.现记录一下最近学到的一些实践手段吧. (1)要留一点资源给除spark以外的应用. 我们用的是Spark-On-Yarn资源调度,每台机器有24核心,每台机器最大内存有128G, 在yarn-site.xml里面,有人很可能把核心数和资源