weixin_48788937的博客

在第一章中，我们采用了使用维度表写入HBase，事实表写入主流的，采用flinkCDC的方法读取mysql中配置表信息从而实现动态分流的问题。优化一：在第二章中，我们对于从HBase中读取数据可以使用旁路缓存的方法，快速的抓取数据，让整个数据的传输过程速度更快。于是新的问题出现了，在整个流式处理框架中，对外部数据源的信息抓取一直是一个性能瓶颈。//旁路缓存模式是一种非常常见的按需分配缓存的模式。任何请求优先访问缓存，缓存命中，直接获得数据返回请求。如果未命中则，查询数据库，同时把结果写入缓存以备后续请

动态分流问题需求：在数据接收层，我们是使用maxwell把通过binlog变动的数据全部写入一个kafka的topic中。而这其中存在维度表和事实表，还有同时又是维度又是事实的表。在实时计算中，我们一般把维度表写入通过主键查询的数据库中，例如mysql，redis，hbase等。一般将事实表写入流中，再经过进一步处理使其变成宽表。而又maxwell存入的全部数据，我们该如何判断全部的数据的流向呢。我们可以将数据的内容全部在一个地方集中配置，形成一种动态的配置方案。我们选择使用mysql存放这种配置表