lfish001的博客

场景：应业务需求，需使用SparkStreaming 一分钟一批次消费Kafka数据，消费2批次后出现提交偏移量异常提交代码如下 dataRDD.foreachRDD(rdd=>{ val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges //业务统计 //.... dataRDD.asInstanceOf[CanCommitOffse

在搬砖过程，出现了一个很奇怪的现象，程序虽然报错了，但是有正常的数据输出。Application application_1547711386718_69741 failed 2 times due to AM Container for appattempt_1547711386718_69741_000002 exited with exitCode: -1000Failing this ...

redis连接数出现原因：在partition中通过新建对象创建redis连接池！使用完后，未彻底关闭连接池，导致随着批次增加，redis连接数也不断增加。解决办法：手动调用close或destroy()def destroyPool(): Unit ={ if(pool != null){ pool.close() } }...