数据研发的岗位技能

脉脉有个讨论，结合看更有意思：【点击此处】

|0x00 开局一张图

|0x01 如何理解数据研发岗

数据研发，又名“大数据开发”、“数据仓库”、“数据技术”等称呼，通常的岗位要求是熟悉数据仓库模型设计经验、熟练运用大数据计算平台、有良好的数据敏感度、具备数据统计的基础知识等要求。

提炼一下，就是掌握全面的数据技术知识，具备与工程、数据、分析/算法、产品/运营，同时打交道的能力，是一个入门门槛低，但成长难度大的岗位。对标金融，就是从会计到CFO，从行业分析到基金经理的成长难度。

作为从12年就开始搞数据开发的从业者，我自己的感受，数据仓库/数据建模所面向的场景，并不一定适用于互联网，互联网中涉及到的数据研发，做的更多的是一种“端到端”解决方案：即从数据的采集，到最后数据的应用，做一整套通用的解决方案。我这里讲的数据研发，是偏向业务方向的，并非底层应用。

|0x02 数据开发的发展历程

数据开发这个岗位，经历了三个阶段的发展：第一个阶段是MR+运维阶段，当年有句话是“会写MR，月薪过万”；第二个阶段是工具+SQL阶段，在Hadoop生态逐渐丰富后，编程方式从Java/Python逐步走向了统一的SQL；第三个阶段则是平台开发阶段，基础工具成熟了，像DataWorks，基本上不再需要关心底层的应用情况。数据开发的问题，在于随着技术进步，过去开源框架的东西逐步的平台化之后，很多工作被自动化所替代了。

所以，技术进步不仅会淘汰传统岗位，一些知识密集型岗位，也有被淘汰的风险。

但，就像数据仓库是一个很古老的概念，数据研发并不会消失，它会存在于较大规模公司中，解决数据的规模问题、质量问题、建模问题等复杂业务场景涉及到的，与Java这一类的工程岗位内容看齐。而中小公司，个人倾向于逐渐的会被淘汰。

现在的年轻人，都在卷向数据分析师和算法，根因也是工具成熟后，要么向下卷技术能力/算法能力，要么向上卷业务价值了。

|0xFF 学习路径

虽然网上知识很多，公众号博客满天飞，但靠谱的学习途径，大致只有四种：

第一种是从公开课学习，比如网易公开课、Youtube，例如机器学习可以学到吴恩达教授的课程；

第二种是从官网学习，比如各类的开源框架，官网是对细节阐述最清楚地方；

第三种是从一些知名牛人撰写的书籍上学习，比如Nathan Marz介绍Lambda的原书；

第四种是学习论文，比如谷歌对于分布式技术介绍的各类论文，比如Lamport对于一致性的论文等。