33、数据平台现代化：从传统架构到云端转型的探索

数据平台现代化：从传统架构到云端转型的探索

在当今数字化时代，企业的数据平台面临着诸多挑战，如硬件老化、软件支持到期、架构扩展性不足等问题。本文将深入探讨一家企业（YouNetwork）在数据平台现代化过程中的实践经验，包括其面临的问题、目标环境、PoC案例、云供应商的响应以及迁移方法等方面。

1. 传统架构的困境

传统解决方案存在诸多问题，硬件接近使用寿命终点，软件也已过支持期限，维护难度大，许可证成本不断攀升，尤其是数据仓库（DWH）方面。架构的局限性也十分明显，无法采用流式处理模式。Hadoop集群在硬件和软件方面都需要更新，硬件系统接近崩溃，新任务执行前需排队数天；软件方面，Hadoop发行版也已过时。

该系统分布在两个物理分离的数据中心（主站点和故障转移站点），采用双活配置，以提高可靠性。DWH数据实时同步，恢复点目标（RPO）接近零；数据湖数据每天使用DistCp工具进行多次对齐，目标RPO为6小时。在灾难发生时，可将流量从一个数据中心路由到另一个数据中心，恢复时间目标（RTO）接近零。

2. 目标环境

在招标书（RFP）文档中，CCoE团队明确了YouNetwork新云环境的理想状态。总体目标是构建一个单一的系统（数据湖仓）作为公司的唯一事实来源，所有用户可根据权限访问数据并进行自助报告。减少工具使用数量，尽可能摆脱离线电子表格，向开源软件（OSS）过渡。ETL部分尽可能采用ELT方法进行现代化改造，采用OSS的目的是终止尽可能多的商业现货（COTS）许可证。

选择SQL优先的数据湖仓方法，因为熟悉SQL的用户数量多于熟悉Spark的用户。同时，要重视公司在将所有源数据导入数据湖方面所做的工作，并减少限