这篇博客是作者对自己三年工作经验的总结，从社交公司的offer选择到大数据工作，再到加入创业公司和电商巨头。作者强调了工作选择时方向的重要性，以及在创业公司、中小公司和大厂中技术工作的不同特点。在大公司，技术人需要面对更广泛的挑战，寻找业务痛点并打造技术壁垒。博客最后，作者分享了自己在业务理解、技术选型和沟通合作能力方面的成长。
前记
回想三年前办完手续离校那天，怀着感恩拖着箱子离开魏公村的母校，对未来工作满怀憧憬，希望能为社会做点什么，能对爱自己和自己爱的人更好。不知觉三年过去，三年时间虽然说不上很长，但也有一些点滴想记录下来，希望若干年后再回过头来看能有不同的感悟。
工作经历
第一段——社交公司
offer选择
毕业后第一份工作是北京陌陌科技，这第一份工作背后发生很多并不轻松的故事，当时本意是参加thoughtworks校招，后来女友发现还有陌陌校招，强烈拉着我去投简历，没想到最后选择的就是第一个来自陌陌的offer，拒掉了当时导师强烈推荐选择的IBM和中科院信工所等公司。
当时选择offer选择挣扎很久，因为IBM曾是自己一直向往的外企，除了解决北京户口还有不错的待遇，中科院因为是体制内，所以没考虑太多，最后还是选择去互联网的陌陌，原因很简单，当时硕士学习的大数据方向，总结了不少知识性内容，通过学习发现这个方向发展潜力更大，虽然公司相对逊色，综合下来最终选择的是方向。
工作
在陌陌工作的二年多很愉快，周围同事都非常友好，公司氛围也人性化。当时在大数据部基础架构组负责Spark方向，因为师兄在我入职前就离职，所以进来后大多数时候都是自己摸索。
两年来经历从300多台服务器发展到近2000台，把公司的Spark从1.5的standalone升级到2.0.X的yarn，再到后来升级到稳定2.3.X，这过程中把之前的分析工具从HUE迁移到Zeppelin，使用Spark SQL作为Zeppelin引擎替代使用MR引擎的Hue，其中利用hive实现Spark没有的鉴权机制，因为Spark引擎的推广让adhoc查询性能提升3-10倍，这过程完全是自己一个人从0到1的推动，虽然过程有各种奇怪问题，但都逐渐解决，如今想起来挺感谢当时主管肖哥信任，让一个应届毕业生有机会承担这么多工作。
这两年来渐渐积累大量Spark相关经验，基本上一个人支持了整个公司使用Spark技术，包括SQL、流计算和机器学习（主要还是SQL，其他两个方向精力有限没能投入太多）。另外负责通过Zeppelin提供查询分析服务，使用Dr.elephant提供作业质量检测能力。中间还尝试用Spark SQL替代Hive来做ETL，但受限于历史原因没有得到足够支持，还曾想过做流计算平台、机器学习平台等，但当时受限于spark本身的工作，一直抽不出精力，这些想法后来也没成行，但后来仓库团队做了类似Dataworks的平台，基本满足这些功能需求。
在加速方面，后来因为
最低0.47元/天 解锁文章
扫一扫
1032
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
