数据开发技能树

最新推荐文章于 2025-02-22 23:30:12 发布

我的猪仔队友

最新推荐文章于 2025-02-22 23:30:12 发布

阅读量1.7k

点赞数 4

分类专栏：行业与技术杂谈导论

本文链接：https://blog.youkuaiyun.com/qq_34100655/article/details/87982273

版权

行业与技术杂谈导论专栏收录该内容

4 篇文章

订阅专栏

文章目录

数据开发的分类
数据开发技能

数据开发的分类

大数据时代来临之后，对于数据的处理逐渐成为了IT技术的一个重要门类；相比于传统的后台开发，数据开发是介于技术与业务之间的一种开发形态。通过数据，可以对业务进行分析、监控、预测，从而挖掘出数据的最大价值。“阿里巴巴号称自己不仅仅是一家电商公司，更是一家大数据公司”，就是大数据时代的最好注脚。

按照用途分类，可以将数据开发分为：数据工程（数据仓库、维度建模、ETL建设）、数据应用（报表开发、BI分析、AB测试）、数据科学（机器学习、数据挖掘）；
按照时效性分类，可以将数据开发分为：离线计算（Hive/ Spark-SQL）、准实时计算（Spark-Streaming）、实时计算（Flink/ Storm）；

数据开发技能

离线开发

进行离线批处理计算，从而对下游的业务部门提供数据支持、报表开发；具体来说，基于Hive/ Spark-SQL进行离线处理。SQL当然是基本功，必须要精通；另外，也需要熟悉MapReduce的原理、Spark的内存模型、HDFS的读写流程、Hive优化经验、Spark与Hive的区别等知识点。这些也都是实际工作中会用到的、面试常提问的点。在经过征信上报项目的锻炼之后，这一部分的知识我已经精通了。

Hive开发经验

实时开发

准实时开发框架Spark-Streaming，实时开发框架Flink/ Storm，最少要掌握其中的一种。不仅要对组件的原理清楚，还要实际做过实时相关的业务开发，面试官也会假定一些业务场景，然后让你来设计方案，所以需要多关注些实时业务场景的应用实现。这些计算框架也是通过Java/ Python/ Scala等编程语言展开的，所以编程能力也很重要。

Spark开发经验

数据仓库

数据仓库的理论更多的是方法论层面的，是否真正掌握的标准是，是否拥有从0到1独立构建数据仓库的能力。目前更时髦的“数据中台”、“数据湖”的概念，可以说是对数据仓库的概念的扩充。

数仓分层建模理论；
Kimball的维度建模理论，星型模型和雪花模型；
常用的任务调度工具、血缘关系梳理；
数据质量监控；
元数据管理；
实时数仓；

Java基础

Hadoop是目前大数据开发领域事实上的标准，而Hadoop生态中相当多的组件都是基于Java开发、或者提供了Java的API接口。因此，Java是面向高阶的数据开发的必备技能。但同时也要注意，不用向Java Web那个领域发展。SQL不算是一门编程语言，仅仅会SQL的话，会大大降低自己的职业天花板。

我看了不少Java书籍，只能说目前市面上的资料鱼目混珠、参差不齐。个人感觉比较好的是：