大数据在开发的过程中,主要会遇到哪些难点?

大数据开发难点包括监控和数据治理。自动化平台是解决开发流程的关键,前端开发工程师在大数据行业中扮演重要角色,负责交互良好的可视化界面。数据血缘、数据质量审查和全平台监控是大数据治理的重要组成部分。大数据可视化不仅仅是图表,而是需要深入理解数据和业务以提供有效的数据操作和应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大数据开发的难点主要是监控,怎么样规划开发人员的工作?开发人员随随便便采集了一堆垃圾数据,并且直连数据库。短期来看,这些问题比较小,可以矫正。但是在资产的量不断增加的时候,这就是一颗定时炸弹,随时会引爆,然后引发一系列对数据资产的影响,例如数据混乱带来的就是数据资产的价值下降,客户信任度变低。

如何监控开发人员的开发流程?

答案只能是自动化平台,只有自动化平台能够做到让开发人员感到舒心的同时,接受新的事务,抛弃手动时代。

这就是前端开发工程师在大数据行业中所占有的优势点,如何制作交互良好的可视化操作界面?如何将现有的工作流程、工作需求变成一个个的可视化操作界面?可不可以使用智能化取代一些无脑的操作?

从一定意义上来说,大数据开发中,我个人认为前端开发工程师占据着更重要的位置,仅次于大数据开发工程师。至于后台开发,系统开发是第三位的。好的交互至关重要,如何转换数据,如何抽取数据,一定程度上,都是有先人踩过的坑,例如kettle,再例如kafka,pipeline,解决方案众多。关键是如何交互?怎么样变现为可视化界面?这是一个重要的课题。

现有的各位朋友的侧重点不同,认为前端的角色都是可有可无,我觉得是错误的,后台的确很重要,但是后台的解决方案多。前端实际的地位更重要,但是基本无开源的解决方案,如果不够重视前端开发,面临的问题就是交互很烂,界面烂,体验差,导致开发人员的排斥,而可视化这块的知识点众多,对开发人员的素质要求更高。

大数据治理

大数据治理应该贯穿整个大数据开发流程,它有扮演着重要的角色,浅略的介绍几点:

数据血缘

数据质量审查

全平台监控

数据血缘

从数据血缘说起,数据血缘应该是大数据治理的入口,通过一张表,能够清晰看见它的来龙去脉,字段的拆分,清洗过程,表的流转,数据的量的变化,都应该从数据血缘出发,我个人认为,大数据治理整个的目标就是这个数据血缘,从数据血缘能够有监控全局的能力。

数据血缘是依托于大数据开发过程的,它包围着整个大数据开发过程,每一步开发的历史,数据导入的历史,都应该有相应的记录,数据血缘在数据资产有一定规模时,基本必不可少。</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值