xo19882011的专栏

一般来说我们都使用Kafka来记录用户的操作记录以便后续分析。但是通常使用的时候需要按天来统计每天的去重用户数、点击量之类的。这个时候如果直接拉某个topic的数据的话，就需要判断每个消息的时间戳，还要兼顾把所有的Partition都拉完才能保证数据的完整。因此如果能只拉取某一个时间段内的消息，就能极大的简化后续的处理逻辑。拉取时段内消息实现为了实现这个目的借助于根据时间戳获取Partition内部偏移的方法，然后逐个拉取所有的Partition的消息。实验例子，python+confluenc

被kafka的新版配置折磨的死去活来的，终于搞定了。。。放松一下写此篇博客以记录一下。开发环境spark 2.2.0scala 2.11.8 (目前为止，高版本的scala貌似对kafka的支持还有坑。。。) sbt(目前为止，顺便说一下，如果是mac 10.13 之后的系统，并且使用 IntelliJ IDEA的话，sbt的版本要选择 1.0.3左右的，选择1.1.0之后那又是会爽...