- 博客(19)
- 收藏
- 关注
RSS订阅原创 Excel转图片，非截图，画图
废话不多说```javapackage com.ddmc.domain;import org.apache.poi.hssf.util.HSSFColor;import org.apache.poi.ss.usermodel.HorizontalAlignment;import org.apache.poi.ss.usermodel.VerticalAlignment;import org.apache.poi.xssf.usermodel.XSSFColor;import java.aw
2020-05-28 13:28:11
305
Structured Streaming篇1：Structured Streaming将json数据写入carbondata
spark篇3：Structured Streaming将json数据写入carbondata废话不多说，直接上干货package xytestimport com.iflytek.utils.Utilsimport org.apache.carbondata.core.util.path.CarbonTablePathimport org.apache.carbondata.stre...
2020-04-12 21:59:40
612
Spark Streaming篇5：Spark Streaming自定义zookeeper管理offset
spark篇7：sparkstreaming自定义zookeeper管理offset废话不多说，直接上干货package com.iflytek.offsetimport org.apache.curator.framework.CuratorFrameworkFactoryimport org.apache.curator.retry.ExponentialBackoffRetryi...
2020-04-12 21:58:22
227
Spark Streaming篇3：Spark Streaming 把数据发往kafka，并实现去重
spark篇6：sparkstreaming 把数据发往kafka，并实现6s去重废话不多说，直接上干货package com.iflytek.kafkaimport java.util.Propertiesimport com.iflytek.kafkaManager.KafkaSinkimport org.apache.kafka.clients.consumer.Consume...
2020-04-12 21:58:07
866
Spark Streaming篇4：Spark Streaming动态广播大变量并进行黑名单过滤
spark篇4：SparkStreaming动态广播大变量并进行黑名单过滤广播变量后，一般变量发生更改后，但是广播的值却不能随之更改，假设从mysql中读取了黑名单数据，后面黑名单数据发送改变，那么如何动态广播变量呢？废话不多说，直接上干货BroadcastWrapper用于动态更新广播变量package com.iflytek.sparking.算子import java.io.{O...
2020-04-12 21:57:36
748
spark篇2：spark通过KuduContext操作kudu
spark篇2：spark通过KuduContext操作kudu废话不多说，直接上干货创建kudu表package kudu.sparkKuduimport org.apache.kudu.spark.kudu.KuduContextimport org.apache.spark.sql.SparkSessionimport org.apache.spark.{SparkConf, ...
2020-04-12 21:56:17
1208
笔记1：carbondata的流式操作
笔记1：carbondata的流式操作更新流sparkSession.sql("UPDATE test_streaming_2 SET (id) = (22) WHERE name = 'cb'").show();报错如下：org.apache.carbondata.common.exceptions.sql.MalformedCarbonCommandException: Data up...
2020-04-12 21:55:42
282
原创 SparkSql篇3：SparkSql读写kudu
SparkSql篇3：SparkSql读写kuduspark操作kudu的方式有很多，spark封装了KuduContext，里面有kudu的增删改查本文主要正对sparksql,利用外部数据源方式，直接从sql层面进行读写kudu废话不多说，直接上干货package kuduimport org.apache.kudu.spark.kudu.KuduContextimport or...
2019-12-10 14:28:30
2146
原创 spark篇3：spark操作ftp
spark篇3：spark操作ftp废话不多说，直接上干货package com.iflytek.ftpimport java.text.SimpleDateFormatimport java.util._import com.alibaba.fastjson.JSONimport org.apache.spark.rdd.RDDimport org.apache.spark.s...
2019-12-10 14:05:17
2542
原创 Spark Streaming篇1：Spark Streaming 把数据写到hbase，并拼接rowkey
spark篇5：sparkstreaming 把数据到hbase废话不多说，直接上干货package com.iflytek.kafkaimport java.text.SimpleDateFormatimport com.alibaba.fastjson.JSONimport com.iflytek.kafkaManager.HbaseSinkimport org.apache....
2019-12-10 13:58:23
489
3
原创 Spark Streaming篇2：Spark Streaming 更新update数据到mysql
Spark Streaming篇2：Spark Streaming 更新update数据到mysql目前有很多方式写入mysql，你可以在streaming中创建DataFrame ，用sparksql写入mysql,但是这种只能追加或者覆盖现在我们利用foreachRDD写入（以下两种方法不仅对DStream 有用，涉及到rdd或者DataFrame 的可以利用foreachRDD写入）...
2019-12-10 13:57:26
1184
原创 Spark篇：Spark读写elasticsearch
spark篇8：SparkSql读写elasticsearch废话不多说，直接上干货package com.iflytek.elasticsearchimport org.apache.spark.sql.{SparkSession, _}import org.elasticsearch.spark.sql._object sparkEs { def main(args: Arr...
2019-12-10 13:51:05
469
原创 SparkSql篇1：SparkSql读写Phoenix
spark篇9：SparkSql读写Phoenix本文使用Phoenix4.7.0，不支持spark2,如需支持spark2请使用Phoenix4.10.0以后版本废话不多说，直接上干货package com.iflytek.phoneiximport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop....
2019-12-10 13:50:07
1343
原创 spark篇1：Spark和SparkSql UDF数据倾斜之随机数前缀
spark篇1：spark和sparksql udf数据倾斜之随机数前缀废话不多说，直接上干货1 spark rdd思路：先加前缀一次聚会，再去前缀二次聚合package RDDDFDSimport RDDDFDS.初始化.ContextUtilsimport org.apache.spark.rdd.RDDimport RDDDFDS.隐式转换.ImplicitAspect.rd...
2019-12-10 13:21:50
2057
原创 flume篇4：flume把json数据写入elasticsearch(flume-elasticsearch-sink)
flume篇4：flume把json数据写入elasticsearch(flume-elasticsearch-sink)对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个json，然后send出去，这样也是ok的废话不多说，直接上干货一、 自定义拦截器：1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦截器...
2019-12-10 10:47:52
1863
原创 flume篇3：flume把json数据写入carbondata(flume-carbondata-sink)
flume篇3：flume把json数据写入carbondata(flume-carbondata-sink)对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个以 ,分隔的string，然后send出去，这样也是ok的废话不多说，直接上干货一、 自定义拦截器：1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦...
2019-12-10 10:01:06
415
原创 flume篇2：flume把json数据写入hbase(flume-habse-sink)
flume篇2：flume把json数据写入hbase(flume-habse-sink)对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个以 :: 分隔的string，然后send出去，这样也是ok的废话不多说，直接上干货一、 自定义拦截器：1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦截器修改的时候不...
2019-12-10 09:13:13
1739
1
原创 flume篇1：flume把json数据写入kudu(flume-kudu-sink)
flume篇1：flume把json数据写入kudu(flume-kudu-sink)对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个json send出去，这样也是ok的废话不多说，直接上干货一、 自定义拦截器：1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦截器修改的时候不影响其他flume业务，当然...
2019-12-10 08:51:46
2106
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人