shuaidong_521的博客

sparkConf.set(“spark.streaming.kafka.maxRatePerPartition”, “50000”) 这个参数的意思是每个分区每秒最大拉取50000条数据,适用于数据积压时蜂拥而来的数据造成的oom 还有auto.offset.eariest这个值现在有两个分别是latest和earliest。 首先它俩有一个点的区分。当偏移量无效时,若使用latest时从最新的偏移量消费,用earliest时从该topic记录的最小的偏移量消费。我觉得这样的话 又有了新的问题,首先是在根

近期要实现一个业务,将一个环境kafka中的数据转发到另一个环境kafka中~ 话不多说,干活！！emmm···· --------------------------------------------------------华丽丽的代码风格线---------------------------------------------------------------- import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONOb