沧海一粟的博客

目录 12.1配置原则 如何发挥集群最佳性能 影响性能的因素 12.2Manager 12.2.1提升Manager配置服务参数的效率 12.2.2根据集群节点数优化Manager配置 12.3HBase 12.3.1提升BulkLoad效率 12.3.2提升连续put场景性能 12.3.3Put和Scan性能综合调优 12.3.4提升实时写数据效率 ...

调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜是多么痛?!!! 如果数据倾斜没有解决，完全没有可能进行性能调优，其他所有的调优手段都是一个笑话。数据倾斜是最能体现一个spark大数据工程师水平的性能调优问题。 数据倾斜如果...

引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变，Spark 1.6.x 以前是基于静态固定的JVM内存使用架构和运行机制，如果你不知道 Spark 到底对 JVM 是怎么使用，你怎么可以很有信心地或者是完全确定地掌握和控制数据的缓存空间呢，所以掌握Spark对JVM的内存使用内幕是至关重要的。很多人对 Spark 的印象是：它是基于内存的，而且可以缓存一大堆数据，...