scala编写spark报错java.lang.ArrayIndexOutOfBoundsException: 10582

最新推荐文章于 2022-10-17 16:34:39 发布

cat__hadoop

最新推荐文章于 2022-10-17 16:34:39 发布

阅读量2.1k

点赞数 2

分类专栏： spark Scala

本文链接：https://blog.youkuaiyun.com/u013129944/article/details/89285392

版权

spark 同时被 2 个专栏收录

4 篇文章

订阅专栏

Scala

2 篇文章

订阅专栏

当前环境：jdk1.8+scala2.12+spark2.4

 <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.0</version>
 </dependency>

多次执行都发现创建RDD报该错误。

val rdd1 = sc.textFile("C:\\Users\\Administrator\\Desktop\\test.txt")

换其他方式创建RDD，同样报错：

sc.parallelize(List(1,2,3,4,5,6))

。。。。。。。
其实是因为jdk1.8的paranamer版本问题。
解决方案：
maven多引用一个包即可。。

       <dependency>
            <groupId>com.thoughtworks.paranamer</groupId>
            <artifactId>paranamer</artifactId>
            <version>2.8</version>
        </dependency>