帆了个帆的专栏

在数据生成过程中，我们通常会以脚本执行成功与否来判断数据是否生成；但是这种判断逻辑会有一个问题：只能判断是否有数据，而不能对数据质量进行监控。举个简单例子：我们有一个脚本生成每日流量数据，20190410这一天生成了100w数据，20190411这一天只有50w数据，这明显不正常，出现这种情况必须马上核查问题所在，不然依赖这份数据的所有报表都会出问题；所以数据质量监控就很有必要，怎么做？就以这个例...

maxwell启动的时候指定需要同步的表，因为并不是所有的表都需要同步到实时数仓，指定表可以大大的减少发送到kafka的数据量，启动命令例子：./bin/maxwell --user=root --password=123456 --host=127.0.0.1 --producer=stdout --client_id test1 \--replica_server_id 1 --filt...