Future的博客

此图大部分内容主要是参考一篇技术博文<<一篇对大数据深度思考的文章，让你认识并读懂大数据>>,具体地址 http://blog.sina.com.cn/s/blog_4997f1b90102v65a.html.

导读作为IT类职业中的“大熊猫”，大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。这群人在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008

spark-submit脚本应用程序提交流程一 步骤1.打包程序提交的流程demo,注意cdh spark2.3.x已改为spark2-submit2.spark-submit脚本会加载环境变量和jar包,启动spark launcher Main 类;3.再启动deploy SparkSubmit类,调用里面submit方法执行doRunMain 设置系统参数,应用参数,ch...

一 目录SparkContext定义从源码中看出SparkContext包含哪些功能重点解读createTaskSchedulerSparkContext初始化时TaskSchedulerImpl两个接口资源管理调度策略FIFO和FAIR二 明细SparkContext的定义 开发Spark应用的入口,它负责和整个集群进行交互,包括创建RDDs,accumulator...

以下面试题都是群里小伙伴提供的，现场真题(包含校招题)1.网易大数据面试题说说项目Spark哪部分用得好，如何调优Java哪部分了解比较好聊聊并发，并发实现方法，volatile关键字说说HashMap的底层原理为什么要重写hashcode和equals说说jvm各个垃圾收集器运用在什么情形jvm调优说说io为什么考虑转行呢？是因为原专业不好就业吗？2.蚂蚁金服面试题小...