如何接手一个大数据项目

作为一个数据开发小白,如何接手公司内的大数据系统呢?以下是个人的一些思考总结:
了解一个大数据系统,我认为需要从以下几个方面入手:
宏观方面:
1.了解系统的整体架构和技术栈:需要了解系统中使用的技术栈,包括各种大数据组件和工具,例如Hadoop、Spark、Hive、Flink、Kafka等等。同时还需要了解系统中各个组件之间的协作关系,以及数据流的流向。
2.了解数据来源和数据去向:需要了解数据来源的种类和来源方式,例如数据采集、数据同步等,以及数据的去向,包括数据存储、数据分析等。
了解数据的结构和存储方式:需要了解系统中存储的数据的结构和存储方式,例如关系型数据库、NoSQL数据库、分布式文件系统等。
3.了解系统的监控和运维方式:需要了解系统的监控和运维方式,包括如何进行性能调优、故障排查和系统监控等。
4.了解系统的业务逻辑:需要了解系统中各个模块的业务逻辑,以及模块之间的关系和数据流向。
建议在接手该系统之前,可以先进行一些相关的培训和学习,同时可以通过查看系统的文档、代码和日志等方式逐步了解该系统。另外,与前任负责人或其他相关人员进行交流也是很重要的,可以了解到系统的一些历史问题和优化.

!!!最后的最后,在接受一个系统时,我们不能只了解该系统的源码以及如何运作,我们更要站在一个高层级的视角去认知我们所接手的项目,我们这个项目解决了什么痛点问题,我们的上下游都是谁,我们需要从上游获得哪些支持,需要给予下游哪些帮助.也许你会觉得没必要,但是当你去更深一步了解这些,相信你会对接手的这个系统有更深刻的理解!!!

细节深入代码方面:
可以从调度系统入手,查看任务的每一部分是如何调度,找到入口所在位置,之后,就是耐心的看源码辣~

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值