
spark
黑旋风李鬼
这个作者很懒,什么都没留下…
展开
-
spark-submit 报 NoClassDefFoundError 解决
报错信息 在使用 spark-submit 提交 scala App 的时候,报出了一下异常,而 代码就简单的调用了一下 map() 方法: Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$...原创 2019-04-25 17:06:12 · 1834 阅读 · 0 评论 -
IDEA spark程序本地调试
准备: linux spark2.1.1 集群 linux hadoop-2.7.7集群 windows hadoop-2.7.7环境 windows scala-2.11.8 WordCount.scala package com.zuo.spark import org.apache.spark.{SparkConf, SparkContext} import org.slf4j.L...原创 2019-04-25 17:17:43 · 3154 阅读 · 1 评论 -
idea 关联spark源码
问题: 点进源码,晦涩难懂,没有注释, 点击右上角Download无法下载源码 解决: 点 Attach Souces,看它用的是哪个jar包,然后到maven公共仓库去寻找这个jar包的源码,下载到本地,通过Attach Souces进行关联 ...原创 2019-05-06 19:59:27 · 895 阅读 · 0 评论