数据中台之旅(一)数据大势所趋

背景
能够转职做数据行业的事情很幸运。我的转职分为三大阶段。
 第一阶段: 类BI工作(伪BI工作)
那是2012年5月.在这之前自己从事的是Java研发工作.无意中以外包身份进入了平安.很感谢当时"网上支付组"录用我的那位leader(这里就不提名字了,脑海中还深深记得他).
加入支付组,并没做Java方面工作.从这时开始,与数据行业已经结缘.当时被安排做平安银行与深圳发展银行,支付订单与商户数据整合.
纯数据工作,是之前做Java研发没有经历过的.这里不得不说大厂分工是非常细的.
项目结束,被安排到"信用卡渠道"从事,数据同步和Congos报表工作.
当时有2个印象深刻的项目。
第一个公务卡迁移.项目周期一个月,将数据库(近2000张表).包含公务卡,卡号数据都需要清洗.不说有多复杂,但是量大.
嘿,写了一个程序5天都搞定了.之后给了测试人员20天时间,进行数据测试.(如果是现在,有着更好的解决方案,因为知道了元数据的运用.程序猿不能被体力活所困扰)
第二个"信用卡渠道"平台改造.我们负责改造后台API接口.有一次,自己一天改造10个接口(全都测试通过，感觉也是棒棒的，哈哈).

 第二阶段: 正式BI工作
  那是2015年7月.入职平安内部员工.在一账通(现名:壹账通金融).很感谢录用我的领导.感激老徐给我说过的一份话，受益良多。
  在一账通开始正式接触Hadoop,了解什么是大数据.真正了解到大数据技术.作为程序猿,还是很热衷技术的.
  在一账通做的大多是数据同步,数仓开发类工作.使用大数据查询组件,渐渐的不能满足自己.空闲之余不断了解大数据组件和底层技术原理.Apache Kylin,是自己着手研究的一个组件.
  工作中还开发了一些小工具,来提升工作效率.(比如: 批量生成Kettle程序、检测作业脚本合规性 等等小玩意)
  在一账通印象最深的还是平台的不稳定性.持续半年的不稳定期,都要开始怀疑人生了.从这之后的工作中,自己负责的平台再没有发生过平台不稳定的情况(因为我不允许这种情况发生).
  越往后出问题对自己的打击越大.因为你对自己要求越来越高.不会允许这样的事情发生.(我觉得写程序是很严谨的事情,虽然现在写的不完美,但是后续要不断的迭代和优化掉, 要彻底摆脱‘海因里希法则’)

  第三阶段: 数据架构工作(包含: 数仓架构与平台架构能力)
  那是2017年离开平安.曾去广州想创业,短短一个月对自己启发很大,见识了"蓝凌OA"架构的强大("蓝凌"已经跟阿里有合作关系),知道了自己的很多不足(不去尝试,永远不知道事情的难度).人啊就是要不断的身处逆境,才能更快的成长.顺风顺水的人,大多成就不大.当然现在的自己也还没有成就哈，^_^.现实社会总会毒打你.所以给自己定规划、定目标.之后坚持执行就好了.
  数仓架构、hadoop集群架构暂时先不写了（之前博客有些安装记录，没有系统整理）待完成这几篇文章再看吧,本次主要想写下数据中台的架构(中台不断迭代完善中,涉及到的绝大部分架构和功能由本人完成).
研发出一个数据平台其实在2016年自己就开始设想了(那时还不知道是叫中台).当时自己具备研发能力,但是做的是BI工作(感觉就像体力活).所以想着如何高效快速的工作,同时更好的管理开发的脚本.
  直到2019年初才真正开始平台的研发工作.后续本人会介绍里面的思路、架构等等.当做自己的总结吧。毕竟它像自己的‘小孩一样’。（我有个小孩叫：甜甜。我喜欢叫她：happy。今后这个平台改叫‘Happy’吧。哈哈）
  
收获

阶段一时期:
1、了解ETL工具,DataStage的使用.DataStage分为:系统管理、项目管理、开发测试、调度四个模块)
2、Congos的使用(IBM的一款可视化工具,以前很多大厂使用。比较古老).
3、学会了如何写文档(从平安的一份帮助手册中,觉醒的).美团有一个基本功叫"写作基本功".就是说如何写文档.
4、严谨性,平安的规范化流程.让你不得不优秀(非常有条理).如果流程走起来有问题,那么大多时候是自己的问题.出过一两次,自身会不断的要求自己变得优秀.
阶段二时期:
1、一颗感恩的心(当很多人不认可你，突然有人给你机会尝试。你会由衷的感谢他).
2、一颗吃‘螃蟹’的心(当不惧怕未知事物，并且挑战多次之后，你将变得无所畏惧。这是信心的增加)
3、一颗好奇心(初次接触hadoop，对里面各种技术栈好奇，尝试了解底层原理，通过原理优化自己的程序)
4、了解到BI数仓建设、数据运用等等(平安优秀的同事太多,不得不向他们学习)
阶段三时期:
1、不甘堕落，保持正能量(没有挑战性工作,不是自己想干的，架构从0到1 不断尝试，不断完善，不断改进)
2、不甘平庸，积极向上(架构师都应该拥有自己的'孩子'，它会让你积极向上，不断的学习和挑战极限。继续自己的数据平台建设 ‘心有所想，呼之必应’。 给自己加油)
3、生活压力，默默承受 (家家都有难念的经，后续让知识变现可能会有所改善吧)

 

小结

保持正能量，处事乐观.
多学习,多看书,多复盘.
少刷圈,少抖音,少网购.
教娃,带娃,陪娃.
了解理财,了解投资.
提升学历,提升内在.
无论什么岗位,不要放弃自我迭代.
懒惰、拖延、害怕、自私是人的天性,要直面这些负面的东西.

放下手机，整个世界都变得不一样了，时间也多了。

 

篇章：

数据中台之旅(二)平台整体介绍
数据中台之旅(三)系统中心介绍
数据中台之旅(四)项目中心介绍
数据中台之旅(五)数据开发介绍
数据中台之旅(六)数据服务介绍
数据中台之旅(七)数据管理介绍

 

想交朋友的可加微信号: belialxing (相互交流前沿发展方向，如果问技术细节问题，那就先自己百度吧。学会独立解决问题。我自己也是这么做的)

如有建议或者意见可直接留言，感谢！

闻道有先后,术语有专攻。宁欺白须公,莫欺少年穷。