Spark学习之路
关注
分享
扫一扫
Hello Guava
坚持写一些JAVA、大数据相关的博文，有助于自己工作、学习、成长！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
SparkStreaming写入Hive遇到的问题记录
需求：SparkStreaming实时写入Hive关于怎么写，网上一大堆，我简单点列下代码：SparkConf sparkConf = new SparkConf().setAppName("sparkStreaming-order").setMaster(SPARK_MASTER);sparkConf.set("spark.serializer", "org.apache.spark.se...原创 2020-04-11 18:39:13 · 1897 阅读 · 0 评论 -
sparkSreaming对接kafka，手动提交offset(java版本)
其实官网上写的都很清楚，在这边整合下做个记录给需要的小伙伴看看直接上代码@Slf4jpublic class Sink2HiveTask { public static void main(String[] args) throws Exception { String topic = "test5"; SparkConf sparkConf ...原创 2020-03-10 09:48:42 · 870 阅读 · 0 评论 -
sparkStreaming中用sparksql时遇到的问题总结
今天准备用sparkStreaming介入kafka再写入hive，准备在流里面执行sparksql，按照官网的写法，一开始的代码是这样的：SparkConf sparkConf = new SparkConf().setMaster("local[2]").setAppName("test");sparkConf.set("spark.serializer", "org.apache.spa...原创 2020-03-09 17:44:36 · 788 阅读 · 1 评论