开水烫鱼的博客

public class HBaseConsumer { public static void main(String[] args) { //加载配置信息 KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(PropertiesUtil.properties...

HIVE 1）设置分桶 set hive.enforce.bucketing set hive.enforce.bucketing=true; 2）设置严格模式 set hive.mapred.mode; set hive.mapred.mode=strict; 3）设置压缩 3.1）开启Map阶段输出压缩 开启输出压缩功能： set hive.exec.compress.i...

spark2.x AccumulatorV2（累加器） Spark2.x之后，之前的的accumulator被废除，用AccumulatorV2代替； 累加器（accumulator）：Accumulator是仅仅被相关操作累加的变量，因此可以在并行中被有效地支持。它们可用于实现计数器（如MapReduce）或总和计数。 Accumulator是存在于Driver端的，从节点不断把值发到Dr...