qq_38740498的博客

联合篇1：elasticsearch作为hbase的二级索引

SparkSql篇3：SparkSql读写kuduspark操作kudu的方式有很多，spark封装了KuduContext，里面有kudu的增删改查本文主要正对sparksql,利用外部数据源方式，直接从sql层面进行读写kudu废话不多说，直接上干货package kuduimport org.apache.kudu.spark.kudu.KuduContextimport or...

spark篇3：spark操作ftp废话不多说，直接上干货package com.iflytek.ftpimport java.text.SimpleDateFormatimport java.util._import com.alibaba.fastjson.JSONimport org.apache.spark.rdd.RDDimport org.apache.spark.s...

spark篇8：SparkSql读写elasticsearch废话不多说，直接上干货package com.iflytek.elasticsearchimport org.apache.spark.sql.{SparkSession, _}import org.elasticsearch.spark.sql._object sparkEs { def main(args: Arr...

spark篇9：SparkSql读写Phoenix本文使用Phoenix4.7.0，不支持spark2,如需支持spark2请使用Phoenix4.10.0以后版本废话不多说，直接上干货package com.iflytek.phoneiximport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop....

spark篇1：spark和sparksql udf数据倾斜之随机数前缀废话不多说，直接上干货1 spark rdd思路：先加前缀一次聚会，再去前缀二次聚合package RDDDFDSimport RDDDFDS.初始化.ContextUtilsimport org.apache.spark.rdd.RDDimport RDDDFDS.隐式转换.ImplicitAspect.rd...