数据湖技术之应用场景篇

        数据湖技术有较多的应用场景，本篇文章是针对一些典型的痛点场景做了一些介绍和说明。比如说在线数据抽取场景原有模式对线上库表产生较大压力，flink多流join维护的大状态导致的稳定性问题等等，具体场景如下图所示：

场景1:在线数据抽取

        业务一般会从线上mysql库表以离线方式抽取全量数据到hive表，供下游业务进行相关关联查询等处理，一般每天周期抽取数据后会放置到hive表的T+1分区上，整体流程如下图所示：

痛点总结：

• 每天全量查询，需要消耗较多资源，业务mysql库压力较大，性能受到影响。
• 业务抽取任务延迟太高，下游业务无法及时获取数据，无法按时产出业务数据。
• 分库分表，维护的离线任务较多，维护成本高，调整代价大。
• 各种因素影响，不够稳定，如果任务出现问题，整体重跑代价大，等待时间过长。

针对此场景的上述痛点问题，可以应用数据湖技术方案进行改造，改造后整体流程如下图所示：

可以看到结合数据湖方案可以准实时的进行入湖，下游进行抽取数据时基本没有太明显的性能