无知是恶

今天写代码时报错 java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package 翻译一下： java.lang.SecurityException：类“ javax.servlet.FilterRegistration”的签名者信息与同一包中其他类的

今天来说一下spark集群的启动流程： 1.通过调用start-all.sh来启动Master和Worker，首先启动的是Mastor 2.Master服务启动后，在PreStart方法中会启动一个定时器定时检查超时的Worker 3.执行receive方法，不断地接受其他Actor发送过来的请求 4.在调用start-all.sh脚本的同时，会解析slaves配置文件，获取到用于启动Worker...

　　当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。但是升级之后会包一个错误，如下： 　　报错：No implicits found for parameter evidence$6: Encoder[Unit] 　　　　 　　主要的错误原因为：　 　　******error: Unable to ......

这几天面试被问到了好几次RDD，感觉都没令面试官满意，下面做了一些简单总结，欢迎大家指出问题： 可以从几个方面来回答，概念、源码层、容错性、缓存、分区等 概念 RDD，全称是弹性分布式数据集（Resilient Distributed Dataset），是spark底层的抽象概念， 弹性主要体现在 :其数据默认是放在内存中，只有放不下了才会放到磁盘，并且每个task执行失败可以进行重新计算； 分布...