Maxcompute数据上云一致性比对

转载于 2023-06-15 10:36:31 发布 · 171 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://developer.aliyun.com/article/1204686?utm_content=g_1000373759

文章标签：

#odps #大数据 #数据库 #html #服务器

文章讨论了在大数据场景中，如何处理业务系统（如Oracle）与MaxCompute数据上云后的一致性问题。常见问题是汇总数据不一致，这需要通过详细的数据比对来定位问题，而不仅仅是查看汇总结果。文章提供了一种方法来对比和解决这种差异，强调了详细数据的重要性。

我写过很多如何去对数、如何批量对数的技术文档，最近项目遇到这个问题，我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑，太长用到的知识点，反而没有意识到其重要性。

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。

先说说一般业务上怎么对数的，我们做了一个报表，出了一个数据“某个产品卖了30个”。这个不只是在大数据平台上有这个数据，在业务系统也有这个数据，这些统计动作在业务系统通过程序和人工也会有一份，一般做好报表后会先对这个数据。

所以，第一线反馈回来的数据就是这个汇总数据不一致的问题。然而这个结果是非常概括的，因为就像我感觉这个月工资少发了5毛一样，如果我不看我的工资条我其实不知道自己是不是少发了。工资条不只是一个汇总数据，里面有我税前工资、奖金（浮动）、社保、扣税等一系列的明细数据，这些数据让我去判断我是不是少了5毛，而加工过的数据是复杂的。

完整内容请点击下方链接查看：

Maxcompute数据上云一致性比对-阿里云开发者社区

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容