belialxing的专栏

将于2020-09-13号编写完成后续：数据中台之旅(八)数据监控介绍(规划中)闻道有先后,术语有专攻。宁欺白须公,莫欺少年穷。

将于2020-09-13号编写完成后续：数据中台之旅(七)数据管理介绍闻道有先后,术语有专攻。宁欺白须公,莫欺少年穷。

功能介绍数据开发 包含: 作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发: 数仓开发使用频率最高的一个功能。通过web化的开发方式大大提升开发效率,降低技术门槛。以前在平安使用的是shell、sql脚本，自己写整套的指令。我希望的是，开发人员只要关注业务逻辑sql编写就好了。不要管底层技术怎么运行的(当然爱学习的小伙伴还是关注底层的好,不然真的容易被

功能介绍项目中心 包含: 项目用户、项目角色、项目配置、作业交接建设思路用户管理: 首先基于现有一些企业的用户管理体系,ldap是一种统一用户管理方式。那么抛开ldap，平台本身也需要登录方式。所以这里采用2种模式登录,ldap 和 普通登录。用户管理就是对系统可操作用户的一个管理和维护的地方。项目管理：在平台中所有的操作，都是在一个项目下的。项目与项目之间相互隔离。所以在系统中心需要对所有项目进行一个管理。系统配置：顾名思义，是对平台本身的一些相关配置，比如：平台本身的元数据源配.

背景

背景一个数据平台它应该具备哪些功能呢？从以往自身数仓工作经历来看，它应该具备数据开发的能力，还有数据调度能力。这是作为一个数仓开发人员首要关注的点。那么，数据挖掘和数据分析人员。他们注重哪些点呢？拥有数据服务能力，数据管理能力对数据使用人员来说是比较友好的。对于大数据平台开发人员来说，如何更好的做一个平台和工具，如何更加灵活实现平台维护是大数据平台人员，作为一个软件开发者考虑的。所以结合上述不同工种的工作内容，大家所需的点不同。但是大家都有一个共性，就是数据。那么整合所有点形成一站式数据平台

背景 能够转型做数据行业的事情很幸运。转型分为三大阶段。 第一阶段: 类BI工作(伪BI工作) 那是2012年5月.在这之前自己从事的是Java研发工作.无意中以外包身份进入了平安.很感谢当时"网上支付组"录用我的那位leader(这里就不提名字了,脑海中还深深记得他). 加入支付组,并没做Java方面工作.从这时开始,与数据行业已经结缘.当时被安排做平安银行与深圳发展银行,支付订单与商户数据整合. 纯数据工作,是之前做Java研发没有经历过的.这里不得不说大厂分工是非常细的. 项目...