过去公司智慧城市项目,由于追求稳定性,数仓基本还是沿用比较成熟的传统数仓,但是随着近两年城市物联网部件的逐渐增多,实时性的需求逐渐增加。目前发现传统数仓架构已经越来越难以满足智慧城市的需求,即使勉强能够支撑,也显得不伦不类。
接下来讲讲本人最近一个智慧城市数据仓库项目:
本项目实施的背景是浙江某童装业大镇,由于发展迅猛,对智慧城市的需求提上日程。尤其是需要大屏可视化展示全镇面貌,下设经济发展,综合治理,精细化管理,安监管理,数据资产五个主题,其中尤其是精细化管理和安全监管对当地政府意义重大,因为这个涉及到与此同时间推动的社会网格化管理。
本人通过调研发现,需要精细化管理的车辆,垃圾分类,城管,城市事件,城市部件等数据量并不多,安监系统涉及到的企业数量大概3万多个,最多的企业安全检查明细表大概2000多万,这点数据量在我看来,传统架构的mpp数据库完全能够撑得住。所以决定上传统成熟稳定的数据仓库。架构:

ETL基于kettle,python,perl完全可以胜任。数据服务层通过springboot项目处理第三方实时推送数据,事件类数据,关联维表后推送给前端,指标层通过共享开放平台提供restful接口供前端调用。
未完待续。。。。。。
物联网智慧城市:从传统数仓到Flink流批一体的转型
随着城市物联网的发展,传统数据仓库无法满足实时性需求。在浙江某童装业大镇的智慧城市项目中,面对精细化管理和安全监管的需求,原有的数仓架构显得力不从心。项目采用ETL处理数据,通过SpringBoot处理实时推送,并通过共享开放平台提供服务。然而,面对未来的挑战,可能需要转向Flink流批一体的数据仓库解决方案。
402

被折叠的 条评论
为什么被折叠?



