rewerma的博客

Kafka consumer多线程下的commit问题默认配置下kafka consumer的offset的commit是自动的，如需改成手动提交可以修改参数：enable.auto.commit = false在手动提交offset的模式下，只需要执行kafkaConsumer.commitSync()即可提交本次拉取消息的所有分区的offset信息，伪代码片段如下：Properties kafkaProperties = new Properties();......kafkaProperti

这里介绍一下Spark对大数据处理的一些过程和使用心得。举一个之前工作中的实际开发的例子：有这样一个需求场景，在公安行业中有各式各样的数据，我们这里挑选旅馆数据作为例子，假设数据结构如下：身份证号(sfzh) 姓名(xm) 旅馆代码(lgdm) 房号(fh) 入住时间(rzsj) 离店时间(ldsj)现在需要将这些数据进行转换成csv文件并导入到neo4j图形