weixin_50835854的博客

上一次的博客中，我们编写了很多第三方的工具类，所以剩下的内容搭建会简单一些。至此实时数仓的DWS层就搭建完毕了，并且代码已经全度推到了github上。

这次博客，我们进行各机构分拣次数的统计。统计当日各机构的分拣次数，并补充城市、省份等维度信息，写入ClickHouse对应表。要求每十秒钟更新一次统计结果。大体流程如图。以上就是这次博客要更改或创建的java文件。至此，Dws的部分搭建就结束了，为了方便进行文件管理，我把项目开源到了github上。项目地址：https://github.com/lcc-666/tms-parent。

这次博客我们完成剩下的DWD层的建设由流程图可知，我们还需要编写两个Flink程序提示：以下是本篇文章正文内容，下面案例可供参考至此数仓Dwd层搭建完成。

这次博客我们进行DWD层的搭建，内容比较多，一次可能写不完。以上就是本次博客需要完成的内容，简单来说就是，从kafka读取数据，然后根据不同的关键字，将其从主流中进行分离，然后在写入各自的kafka中以便后续的操作至此这篇博客的内容结束。

这次博客记录一下有关数仓的DIM层建设，不知道一次能不能完成这时目前的大概流程。红框中就是我们要完成的DIM操作。我们需要从Kafka中读取数据，和配置表信息进行比较和处理进而传递到下游写入hbase。至此DIM层的搭建已经完成。

现在我们开始进行数仓的搭建，我们用Kafka来代替数仓的ods层。基本流程为使用Flink从MySQL读取数据然后写入Kafka中至此ODS搭建完成。

之前学校安排了实训，所以有一堆事情要处理。现在基本算是搞完了，继续进行学习的提升，这次进行的是实时数仓的学习，可以算是大数据学习的最后阶段了。以下是实时数仓的框架图。至此，物流实时数仓采集通道搭建完成。