背景:今天在做一个需求整体改造,改造完核对数据的时候,发现一个指标对不上,按会员手机号归属城市汇总的指标改造前后对不上,开始追溯问题,排查到会员表,发现会员表的会员手机号,从2年前就没有正常更新了,且这个手机号用来了做短信营销,由于这个表是另外一个同事做的,使用了做了检验,可能是刚好检验了没有更新过的
经验:对于非构架岗位,面试时,除了考察数仓、大数据技术,最应该考察的,如何保证自己开发的数据是正确的,特别是对数据准确性有要求的团队
对于干活的人:如果这个数据很重要,千万不要相信的你的队友,如果真的要用队友的模型,使用时要做各项验证,且验证要例行。
在我看来,大数据/数仓工程师,超出的数据一般是提供给老板、商分用来分析决策的,所以大数据/数仓工程师一个最核心的素质:如何保证自己的数据的正确,即使在有测试的情况下,以及对各种人怀疑的态度,使用模型前自测