寻找手艺人的专栏

由于集群（1Master，Slaves）的资源非常可怜，每个节点系统可用的内存分配不足，所以设置了几个参数： export SPARK_WORKER_MEMORY=512M export SPARK_DAEMON_MEMORY=256M 情况如下： ...

lag与lead函数是跟偏移量相关的两个分析函数，通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立的列,从而更方便地进行进行数据过滤。这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率。 over()表示 lag()与lead()操作的数据都在over()的范围内，他里面可以使用partition by 语句（用于分组） order b...

原submit提交脚本： #!/bin/bash spark-submit \ --class com.jxre.bigdata.sparks.SumIrradiateCalc \ --master spark://node1.sdp.cn:7077 \ --driver-memory 3G \ --deploy-mode cluster \ --supervise \ -...

#!/usr/tcl/bin/expect -f for {set i 14} {$i < 24} {incr i} { spawn ssh root@192.168.4.$i expect { "*password:*" { send "123456\r" exp_continue } ...

1、准备环境 jdk1.8 zookeeper集群 hadoop集群 ssh免密 1.1节点规划 IP hostname 节点规划 192.168.4.14 node1.sdp.cn master 192.168.4.15 node2.sdp.cn standby 192.168.4.16 node3.sdp.cn worker 192.168.4.17 node4...