qq_38740498的博客

spark篇8：SparkSql读写elasticsearch废话不多说，直接上干货package com.iflytek.elasticsearchimport org.apache.spark.sql.{SparkSession, _}import org.elasticsearch.spark.sql._object sparkEs { def main(args: Arr...

SparkSql篇3：SparkSql读写kuduspark操作kudu的方式有很多，spark封装了KuduContext，里面有kudu的增删改查本文主要正对sparksql,利用外部数据源方式，直接从sql层面进行读写kudu废话不多说，直接上干货package kuduimport org.apache.kudu.spark.kudu.KuduContextimport or...

spark篇3：spark操作ftp废话不多说，直接上干货package com.iflytek.ftpimport java.text.SimpleDateFormatimport java.util._import com.alibaba.fastjson.JSONimport org.apache.spark.rdd.RDDimport org.apache.spark.s...

spark篇5：sparkstreaming 把数据到hbase废话不多说，直接上干货package com.iflytek.kafkaimport java.text.SimpleDateFormatimport com.alibaba.fastjson.JSONimport com.iflytek.kafkaManager.HbaseSinkimport org.apache....

Spark Streaming篇2：Spark Streaming 更新update数据到mysql目前有很多方式写入mysql，你可以在streaming中创建DataFrame ，用sparksql写入mysql,但是这种只能追加或者覆盖现在我们利用foreachRDD写入（以下两种方法不仅对DStream 有用，涉及到rdd或者DataFrame 的可以利用foreachRDD写入）...

spark篇1：spark和sparksql udf数据倾斜之随机数前缀废话不多说，直接上干货1 spark rdd思路：先加前缀一次聚会，再去前缀二次聚合package RDDDFDSimport RDDDFDS.初始化.ContextUtilsimport org.apache.spark.rdd.RDDimport RDDDFDS.隐式转换.ImplicitAspect.rd...