rdd.collect()后得到的List排序问题：Exception in thread “main“ java.lang.UnsupportedOperationException

最新推荐文章于 2025-03-24 23:38:24 发布
最新推荐文章于 2025-03-24 23:38:24 发布
阅读量544 收藏
点赞数
文章标签： spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Python_Billy/article/details/115654206
版权
该博客介绍了如何利用Apache Spark处理Apache日志文件，按小时统计访问量。通过Java API实现数据读取、切分、转换为键值对、求和并排序，最终成功输出按访问小时的访问次数。代码运行过程中遇到UnsupportedOperationException问题，通过调整代码解决了此问题，并展示了部分处理后的结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

跟着视频的写了一个数据统计的demo，实现按小时统计访问量。代码如下

package com.billy.test;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.*;

public class SparkTest {

    public static void main(String[] args) {
        SparkConf sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);
        JavaRDD<String> lines = sc.textFile("files/apache.log");

        //数据分片
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split(":")[1]).iterator();
            }
        });
        //数据转化为 对
        JavaPairRDD<String,Integer> wordsMap = words.mapToPair(new PairFunction<String, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(String s) throws Exception {
                return new Tuple2(s,1);
            }
        });
        //求和
        JavaPairRDD<String,Integer> wordsReduce = wordsMap.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer arg0, Integer arg1) throws Exception {
                return arg0 + arg1;
            }
        });
        //JavaPairRDD<String, Integer> sortByKey = wordsReduce.sortByKey(true);
        List<Tuple2<String, Integer>> collect = wordsReduce.collect();
        System.out.println("collect0: " + collect);

        //collect = new ArrayList(collect);
        System.out.println("collect1: " + collect);

        //System.out.println(sorted);
        Comparator<? super Tuple2<String, Integer>> myComparator = new Comparator<>() {
            @Override
            public int compare(Tuple2<String, Integer> t1, Tuple2<String, Integer> t2) {
                return t1._2.compareTo(t2._2);
            }
        };
        collect.sort(myComparator);
        System.out.println("collect2: " + collect);
    }
}

结果一直报Exception in thread “main” java.lang.UnsupportedOperationException错误，后来参考文章
https://blog.youkuaiyun.com/Tracycater/article/details/77592472?locationNum=2&fps=1
发现由数组转为List有一些坑，然后看rdd.collect()方法的源码发现果然collect返回的是一个array
在这里插入图片描述
因此也需要将collect得到的List转化一下，在上面的代码中，打开
collect = new ArrayList(collect);的注释，然后就不报错了。
打印结果：

collect0: [(06,366), (20,486), (19,493), (15,496), (00,361), (02,365), (04,355), (22,346), (17,484), (13,475), (11,459), (08,345), (14,498), (09,364), (21,453), (18,478), (16,473), (03,354), (07,357), (12,462), (05,371), (01,360), (10,443), (23,356)]
collect1: [(06,366), (20,486), (19,493), (15,496), (00,361), (02,365), (04,355), (22,346), (17,484), (13,475), (11,459), (08,345), (14,498), (09,364), (21,453), (18,478), (16,473), (03,354), (07,357), (12,462), (05,371), (01,360), (10,443), (23,356)]
collect2: [(08,345), (22,346), (03,354), (04,355), (23,356), (07,357), (01,360), (00,361), (09,364), (02,365), (06,366), (05,371), (10,443), (21,453), (11,459), (12,462), (16,473), (13,475), (18,478), (17,484), (20,486), (19,493), (15,496), (14,498)]

apache.log摘要如下：

83.149.9.216 - - 17/05/2015:10:05:03 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-search.png
83.149.9.216 - - 17/05/2015:10:05:43 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard3.png
83.149.9.216 - - 17/05/2015:10:05:47 +0000 GET /presentations/logstash-monitorama-2013/plugin/highlight/highlight.js
83.149.9.216 - - 17/05/2015:10:05:12 +0000 GET /presentations/logstash-monitorama-2013/plugin/zoom-js/zoom.js
83.149.9.216 - - 17/05/2015:10:05:07 +0000 GET /presentations/logstash-monitorama-2013/plugin/notes/notes.js
83.149.9.216 - - 17/05/2015:10:05:34 +0000 GET /presentations/logstash-monitorama-2013/images/sad-medic.png
83.149.9.216 - - 17/05/2015:10:05:57 +0000 GET /presentations/logstash-monitorama-2013/css/fonts/Roboto-Bold.ttf
83.149.9.216 - - 17/05/2015:10:05:50 +0000 GET /presentations/logstash-monitorama-2013/css/fonts/Roboto-Regular.ttf
83.149.9.216 - - 17/05/2015:10:05:24 +0000 GET /presentations/logstash-monitorama-2013/images/frontend-response-codes.png
83.149.9.216 - - 17/05/2015:10:05:50 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard.png
83.149.9.216 - - 17/05/2015:10:05:46 +0000 GET /presentations/logstash-monitorama-2013/images/Dreamhost_logo.svg
83.149.9.216 - - 17/05/2015:10:05:11 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard2.png
83.149.9.216 - - 17/05/2015:10:05:19 +0000 GET /presentations/logstash-monitorama-2013/images/apache-icon.gif
83.149.9.216 - - 17/05/2015:10:05:33 +0000 GET /presentations/logstash-monitorama-2013/images/nagios-sms5.png
83.149.9.216 - - 17/05/2015:10:05:00 +0000 GET /presentations/logstash-monitorama-2013/images/redis.png
83.149.9.216 - - 17/05/2015:10:05:25 +0000 GET /presentations/logstash-monitorama-2013/images/elasticsearch.png
83.149.9.216 - - 17/05/2015:10:05:59 +0000 GET /presentations/logstash-monitorama-2013/images/logstashbook.png
83.149.9.216 - - 17/05/2015:10:05:30 +0000 GET /presentations/logstash-monitorama-2013/images/github-contributions.png
83.149.9.216 - - 17/05/2015:10:05:53 +0000 GET /presentations/logstash-monitorama-2013/css/print/paper.css
83.149.9.216 - - 17/05/2015:10:05:24 +0000 GET /presentations/logstash-monitorama-2013/images/1983_delorean_dmc-12-pic-38289.jpeg
83.149.9.216 - - 17/05/2015:10:05:54 +0000 GET /presentations/logstash-monitorama-2013/images/simple-inputs-filters-outputs.jpg
83.149.9.216 - - 17/05/2015:10:05:33 +0000 GET /presentations/logstash-monitorama-2013/images/tiered-outputs-to-inputs.jpg
83.149.9.216 - - 17/05/2015:10:05:56 +0000 GET /favicon.ico
24.236.252.67 - - 17/05/2015:10:05:40 +0000 GET /favicon.ico
93.114.45.13 - - 17/05/2015:10:05:14 +0000 GET /articles/dynamic-dns-with-dhcp/
93.114.45.13 - - 17/05/2015:10:05:04 +0000 GET /reset.css
93.114.45.13 - - 17/05/2015:10:05:45 +0000 GET /style2.css
93.114.45.13 - - 17/05/2015:10:05:14 +0000 GET /favicon.ico
93.114.45.13 - - 17/05/2015:10:05:17 +0000 GET /images/jordan-80.png
93.114.45.13 - - 17/05/2015:10:05:21 +0000 GET /images/web/2009/banner.png
IT-Billy
关注
rdd之collect之无参数和有参数模式
yy的博客
11-22 624
collect()无参数 collect(偏函数) // 有参数 偏函数,模式匹配 ----- // spark 2.3.1 val spark = SparkSession.builder().master("local[2]").appName("yy1").getOrCreate() val sc = spark.sparkContext val rdd1:...
[Spark版本更新]--Spark-2.0.1版本的最新改动
欢迎来到我的博客，一起探索代码里的世界！
11-12 6726
spark-2.0.1版本的最新改动 Sub-task(子任务) [SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite [SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog [SPARK-...
spark RDD collect()
热门推荐
chaoshengmingyue的博客
08-24 2万+
collect的作用 Spark内有collect方法，是Action操作里边的一个算子，这个方法可以将RDD类型的数据转化为数组，同时会从远程集群是拉取数据到driver端。 已知的弊端 首先，collect是Action里边的，根据RDD的惰性机制，真正的计算发生在RDD的Action操作。那么，一次collect就会导致一次Shuffle，而一次Shuffle调度一次stage，然而一...
Spark RDD常用操作训练(RDD操作)
2401_87153568的博客
03-11 1099
rdd = sc.parallelize([1,2,3,6,5,4,6,12,23]).groupBy(lambda x:x%3)#将元素分成3组，第1组x%3==0,第2组x%3==1,第3组x%3 ==2。sc.parallelize([1,2,3,4,5]).sortBy(lambda x:x,False).collect() #降序排列。输入：rdd1 = sc.parallelize([1,1,2,2,5])(8)归并(归类+合并计算):reduceByKey(lambda函数)
Exception in thread “main“ java.lang.UnsupportedOperationException
ptGrapes的博客
07-19 1531
2021-7-19bug记录问题描述：原因分析：解决方案： 问题描述： 定义了一个数组，然后通过使用Array.asList的方法将数组转化为集合。调用list.toString()方法能够输出当前集合内容。但是如果往该集合添加元素，会报错。具体错误为： list前========================>[aaa, vv, cc] Exception in thread "main" java.lang.UnsupportedOperationException at java.util.
RDD.collect(),take(), first
a8131357leo的博客
02-28 5721
RDD.take(), RDD.first() .collect() 方法把RDD的所有元素返回给驱动，驱动将其序列化成了一个列表 .take() 返回前几个元素
关于RDD的打印输出 collect 和 foreach print（ mapRDD.collect().foreach(println)）
yzy2058408371的博客
04-07 2730
关于RDD的输出，官网上是以上叙述： 意思就是：利用rdd.foreach(println) 或者 rdd.map(println)，在一台机器上时，会得到理想的输出，打印出所有的RDD的数值；但在集群环境中，输出会被executors唤起，被写到executors的输出，而不是驱动所在的主机，所以在主机上不会显示打印信息，为了能够在主机上打印信息，要使用collect()函数首先把RDD放到主机节点上，rdd.collect().foreach(println),但因为collect()会将整个RDD的数
Spark(二) ：基本架构解析
qq_35909080的博客
08-13 680
1，spark基础及体系架构 1.1 spark why?   Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性...
Apache Spark - 用于大规模数据分析的统一引擎
最新发布
qq_37954693的博客
03-24 742
spark 使用示例，学习
Apache-Flink
@xiao黑的博客
03-17 665
Apache-Flink 概述 Flink是构建在数据流之上地有状态计算地流计算框架 通常被人们理解为是第三代大数据分析方案 第一代-Hadoop的MapReduce(计算) Storm流计算(2014.9) 两套独立计算引擎 使用难度大 第二代-Spark RDD静态批处理(2014.2) DStream|Structured Streaming流计算 统一计算引擎 难度系数小 第三代-Fli...
Exception in thread “main“ java.lang.UnsupportedOperationException 错误处理
qiaojunt的博客
07-08 1759
LIst集合使用add,remove方法报错UnsupportedOperationException 原代码： 报错原因 此List 为Arrys.asList()初始化的，Arrays类继承了AbstractList抽象类，只实现了get/set方法，但是没有实现add/remove方法 解决方法 完结撒花。耶耶耶...
PySpark RDD 之collect、 take、top、first取值操作
Gscsd的博客
12-14 1万+
1. pyspark 版本 2.3.0版本 2. collect() collect()[source] Return a list that contains all of the elements in this RDD. 中文：返回包含此RDD中的所有元素的列表。 Note This method should only be used if the res...
异常：java.lang.UnsupportedOperationException
Fishman113的博客
10-11 248
在项目中对List进行操作时报错java.lang.UnsupportedOperationException，由数组转换而成的List,remove、add等方法实际是AbstractList的方法: List list = Arrays.asList(array); 执行结果： Exception in thread “main” java.lang.UnsupportedOperationException 调用Arrays.asList()生产的List的add、remove方法时报异常，这是由Ar
RDD用法与实例（七）：collect和take
m0_37754282的博客
09-27 1375
有时候collect结果会很奇怪。尽量用take，因为collect不是很能总能很好的收集数据。 如下这个例子中，collect就有了明显的不正确结果。 A = sc.parallelize(range(10)) x = 5 B = A.filter(lambda z: z < x) # B.cache() B.unpersist() print(B.take(10)) print(B.collect()) x = 3 print(B.take(10)) print(B.collect()) # c
windows上pyspark glom()或map之后collect报错
NICOLENICOLE_的博客
06-11 1135
pyspark报错
RDD之collect方法执行的过程
weixin_43866709的博客
03-19 3032
首先来看一张图： spark集群中有master节点和Worker节点，master节点负责任务调度，worker节点负责计算。 当集群启动时，worker节点会向master注册，并且定期向master发送心跳。 当我们向集群提交任务时，会启动一个进程spark-submit,这个进程也叫做driver。这个进程先要连接master，然后master会通过注册信息找到合适的worker节点去计...
【Spark】2、RDD
Alexander的博客
07-09 573
弹性分布式数据集（Resilient Distributed Dataset）,是Spark的核心，属于一种分布式的内存系统数据集应用，能与其他系统兼容，导入外部存储系统的数据集，如HDFS、HBase等 RDD的特性 1、RDD的三种基本运算 Lineage机制具备容错的特性 RDD本身具有Linear机制。记录每个RDD与其父代RDD之间的关联，还会记录通过什么操作才由父代RDD得到该RD...
[Spark][python]RDD的collect 作用是什么？
weixin_34236869的博客
09-29 315
[Spark][Python]sortByKey 例子的继续 RDD的collect() 作用是什么？ “[Spark][Python]sortByKey 例子”的继续 In [20]: mydata004.collect() Out[20]: [[u'00001', u'sku933'], [u'00001', u'sku022'], [u'00001', u'sku912'], [u'...
Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.NullPointerException;这段报错是什么意思
03-10
<think>好的，用户需要解决Spark SQL中的AnalysisException和NullPointerException错误。首先，我需要回忆这两种异常的常见原因和解决方案。 对于AnalysisException，通常和表或列不存在、SQL语法错误、权限问题有关。比如用户提到的Spark 3.0中SHOW TBLPROPERTIES在表不存在时会抛出AnalysisException，而旧版本是NoSuchTableException，这说明版本差异需要注意。解决方案可能需要检查表是否存在，或者使用TRY-CATCH处理。 然后是NullPointerException，这通常发生在对象未正确初始化时。比如用户提到的sqlContext.createDataFrame时出现空指针，可能因为SparkSession未正确创建，或者RDD的数据结构与schema不匹配。需要检查SparkContext初始化，以及数据转换时的步骤是否正确。 接下来需要整理解决步骤，分点说明。比如先处理AnalysisException，再处理NullPointer。每个异常的可能原因和对应的解决办法，如检查表名、验证SQL语法、处理权限，以及确保SparkSession初始化，检查RDD是否为空等。 同时需要引用用户提供的资料中的例子，比如引用[1]和引用[2]中的情况，结合实例说明如何解决。例如在Spark 3.0中处理表不存在的情况，或者在local模式下正确初始化sqlContext。 最后生成相关问题，帮助用户进一步排查问题，比如版本兼容性、初始化步骤、调试技巧等。</think>### Spark SQL AnalysisException 和 NullPointerException 解决方案 #### 一、AnalysisException 常见原因及解决方案 1. **表或列不存在** - **现象**：执行`SHOW TBLPROPERTIES`或查询时抛出异常 - **解决方案**： - 使用`spark.catalog.tableExists("表名")`验证表是否存在[^1] - 使用`TRY...CATCH`捕获异常（Spark 3.0+支持）： ```sql TRY SHOW TBLPROPERTIES 表名 CATCH SELECT '表不存在' AS error_message ``` 2. **SQL语法错误** - **现象**：解析SQL时因语法错误失败 - **解决方案**： - 使用`EXPLAIN`命令验证SQL可执行性 - 在Spark Web UI的SQL页面检查解析计划 3. **权限问题** - **现象**：操作表时因权限不足失败 - **解决方案**： - 检查HDFS或元数据库（如Hive Metastore）的访问权限 - 使用`spark.sql("SET spark.sql.hive.verifyPartitionPath=true")`避免路径误判 --- #### 二、NullPointerException 常见原因及解决方案 1. **SparkSession未初始化** - **现象**：调用`sqlContext.createDataFrame()`时崩溃 - **解决方案**： - 确保正确初始化SparkSession： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("demo").getOrCreate() ``` 2. **空RDD转换DataFrame** - **现象**：空RDD尝试创建DataFrame时报错[^2] - **解决方案**： - 添加空值检查： ```python if not rdd.isEmpty(): df = sqlContext.createDataFrame(rdd, schema) ``` 3. **Schema与数据不匹配** - **现象**：字段数量或类型不一致导致空指针 - **解决方案**： - 使用`printSchema()`验证Schema定义 - 添加数据清洗步骤： ```python rdd = rdd.filter(lambda x: len(x) == len(schema.fields)) ``` --- #### 三、调试技巧 1. **启用详细日志** 在`spark-submit`中添加配置： ```bash --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.debug.properties" ``` 2. **最小化复现代码** 将问题SQL/操作拆解为独立单元测试，逐步定位异常位置 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值