数据湖是经过治理和整合的数据最佳存放环节
•数据湖架构,实现数据治理与大数据应用开发的脱藕,可以支持应用的百花齐放
•数据湖确保数据是用户的数据,不是应用开发商的数据
•多个不同特色的应用开发,可以分别从数据湖获得各自需要的数据,大大加快应用开发的速度
大数据整体架构
大数据采集集成平台
数据库实时交换
数据库实时交换与共享平台
数据库数据复制与实时技术
大数据处理平台
大数据处理平台定位
为企业用户提供数据采集、存储、计算、调度、探索、监控、安全等数据治理相关的一整套数据湖治理解决方案,提供数据分析师准备数据的效率
大数据处理平台定位
大数据处理平台:目标效果
大数据处理平台——数据采集
数据资产管理系统
数据资产管控——资产视图
大数据交换平台
数据共享平台——目标
大数据接口运维平台
接口运维平台
1)根据拓扑可相应计算组件、平台、物理设备的实时吞吐量;
2)包括整体调用的响应时间和各个服务的响应时间等;
3)错误记录,根据服务返回统计单位时间异常次数;
4)告警功能,提供各种阈值警告功能。