
大数据应用
Virgil_Ye
IT项目经理 / 个人投资人 / 户外徒步爱好者
追求心灵富足,财富自由。记录投资和个人成长的所思所行… 问问自己能为梦想做点什么?
微博:http://weibo.com/yeshaopeng
展开
-
阿里云公有云产品组网之SLB、EIP、NAT网关小记
我们采购了阿里云工业大脑产品,该产品由14台ECS集群、RDS、OSS、MaxCompute共同组成,用到了SLB、EIP、NAT产品,做个记录和分享。其他还用到了几款SaaS:DataWorks、Quick BI、DataV、1.弹性公网IP(EIP):用于动态绑定到需要公网IP的产品上,项目里申请了4个EIP,分别用于工业大脑公网跳板机、SaaS、SLB、NAT网关。2.NAT网关:将阿里云资源的主要节点归口到同一公网IP。选用的小型网关,如果所有计算资源都在同一个VPC内,则不需要..原创 2020-10-23 09:28:00 · 2699 阅读 · 0 评论 -
数据中台在工程建造行业的应用实践
前言近年来,随着人口红利、资源红利、流量红利的逐渐消失,国内工程建造市场正经历着从增量市场向存量市场的转变。与此同时,受人口老龄化、管理粗放、外部环境不可控因素多,以及同业竞争和跨界竞争等多重影响,“利润微薄”[1]和“竞争力弱”正成为大多数工程建造企业面临的主要困境。作为工程建造行业的一员,成都某工程集团(后简称集团)同样面临上述问题。受近两年基建投资额增速放缓影响,集团下属城市轨道交通、水环境治理(城市绿道、河道景观)、市政设施业务均面临巨大的市场压力,迫切需要寻求一条降本增效的可持续.原创 2020-09-03 10:39:19 · 1754 阅读 · 0 评论 -
数据中台实践手记——数据体系搭建
数据体系搭建步骤业务板块 -> 数据域 -> 事实表 -> 数据同步(ELT)ODS(hive、ods_业务库_表名_di/df)-> 数据清洗(去重、脏数据)-> 数据开发(离线计算hive/spark sql)、流式开发(stream)、算法开发数据分层1、贴源数据层ODS原样copy业务系统的数据表过来,可能放在hive、maxcompute里。数据表命名规则:ods_业务系统简称_表名_dt/dfDIM(主题域_)2、统一数仓层DW.原创 2020-08-26 14:07:15 · 1569 阅读 · 1 评论