
SPARK
何星平
当你的才华还撑不起你的野心的时候,你就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
spark操作phoenix
spark第八篇:与Phoenix整合 spark sql可以与hbase交互,比如说通过jdbc,但是实际使用时,一般是利用phoenix操作hbase。此时,需要在项目中引入phoenix-core-4.10.0-HBase-1.2.jar和phoenix-spark-4.10.0-HBase-1.2.jar。 java代码示例: public stat...原创 2020-01-07 17:51:38 · 684 阅读 · 1 评论 -
Spark调优
数据倾斜的原理: 在进行shuffle的时候必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理, 比如按照key进行聚合或join等操作,如果某个key对应的数据量特别大的话,就会发生数据倾斜 解决方案一:使用Hive ETL预处理数据。将数据倾斜提前到上游的Hive ETL Spark作业时,执行速度都会很快 解决方案二:过滤少数导致倾斜的key。如果我们判断那少数几个数据量...原创 2019-06-25 10:50:01 · 163 阅读 · 0 评论