- 博客(3)
- 收藏
- 关注
RSS订阅原创 MapReduce源码流程
MR源码流程 --main --job --submit() --connect();[new Cluster(getConfiguration());创建集群对象，本地模式或者yarn模式] --submitter.submitJobInternal(Job.this, cluster);[向系统提交作业的内部方法] --JobSubmitter --checkSpecs...
2020-04-01 16:26:48
181
原创 Kafka_offset写入mysql，SparkStreaming代码
package SparkStreaming.SparkStreaming_IMOOC.Spark import SparkStreaming.SparkStreaming_IMOOC.Dao.OffsetReadAndSave import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.comm...
2020-01-11 14:56:06
197
原创 Kafka偏移量写入mysql中异常
错误写法： resultDStream1.foreachRDD{ rdd => { offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges KafkaOffsetSave(offsetRanges) rdd.foreachPartition{ partitionOfRecords =>...
2020-01-09 19:56:08
321
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人