俩只猴的博客

如何划分stage def dataAnalysis() = { val lines = wordCountDao.readFile("datas/word.txt") val words: RDD[String] = lines.flatMap(_.split(" ")) val wordToOne = words.map(word=>(word,1)) val wordToSum: RDD[(String, Int)] = wordToOne.reduceByKey(_+_)

问题 在安装完Hadoop Lzo后。进入spark-sql shell 正常，但是执行查询语句时候，抛出： Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found. 解决方案 原因：在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到。这是因为在hadoop 的core-site.xm