dekong1010的专栏

记录：https://juejin.im/post/6844904183980621831#heading-65

记录：https://juejin.im/post/6844904183984848903#heading-150

记录：https://zhuanlan.zhihu.com/p/109362671记录2：https://www.cnblogs.com/huangguoming/p/12750895.html

背景:公司的数据仓库建设项目启动在即，所谓万事开头难，如何在我们数仓建设规划的前期做好业务数据准备和系统建设规划是我们需要思考的问题，这里根据之前的自己参与过的公司ODS系统运维、数据仓库项目建设和运维方面参与过的一些实际工作经验，并结合一定的数仓建设的理论知识，来简要介绍一下关于数据建设环节中ETL部分的基本知识，并谈一些自己的想法和思考，希望能给大家一些启发和帮助。在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗、整合，到转换，加载等的各个过程，如果说数据仓库是一座

建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤：1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。...