xueba207的专栏

问题安装cloudera namager时，cloudera-scm-server可以正常启动，cloudera-scm-agent启动失败.

利用java写spark job，工程结构为maven，每次生成的jar都比较大。 spark job 包过大带来以下缺点：打包时间长、jar包上传慢、job启动比较慢。 本文介绍jar包瘦身方法： 观察臃肿的jar包，发现大部分都是spark相关的jar比较大，因此打包时去掉即可。首先，缓存spark-assembly 包到hdfs，方法见本文。然后， 修改代码工程的pom文件，将spa

异常部署zeppelin时，使用spark interpreter报错： com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name ‘id’ (in class org.apache.spark.rdd.RDDOperationScope)原因jackson版本冲突，

Spark 广播变量（broadcast）更新方法更新方法spark 广播变量可以通过unpersist方法删除，然后重新广播 val map = sc.textFile("/test.txt").map(line => { val arr = line.split(",") (arr(0), arr(2).toInt)}).distinctvar mapBC = sc.broa