kudewei的博客

原创 尚硅谷电商数仓6.0采集项目流程

对于订单表之类会经常更新增加内容的表采用首日全量采集，之后增量采集；首日使用maxwell——bootstrap全量采集，之后就用maxwell增量采集；在学习完尚硅谷的大数据电商数仓6.0项目之后，自己简单回顾并总结了下的采集项目全流程，也可帮助正在学习该项目的小伙伴更好的理解该采集项目的数据流程。日志数据一开始都是没有的，所以只需要直接增量采集即可，直接使用flume监听。对于不会经常更新内容的表采用全量采集使用工具datax直接传到HDFS；业务数据根据表内容的变化规律分为全量采集和增量采集。