rdd不能嵌套rdd

最新推荐文章于 2022-06-23 15:19:19 发布
原创 最新推荐文章于 2022-06-23 15:19:19 发布 · 4.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #rdd #py4j.Py4JException #Py4JError

本文探讨了在Spark中，RDD（弹性分布式数据集）不允许嵌套的问题。出现`py4j.Py4JException`或`Py4JError`通常是由于尝试在RDD操作内部使用另一个RDD导致的。这种做法违反了RDD的设计原则，应当避免。 
df_all.show()
a = [(1,df_all)]
rdd = sc.parallelize(a)

报错
Py4JError: An error occurred while calling o131.__getnewargs__. Trace:
py4j.Py4JException: Method __getnewargs__([]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
at py4j.Gateway.invoke(Gateway.java:252)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:209)
at java.lang.Thread.run(Thread.java:745)

错误原因：rdd不能嵌套rdd

RDD嵌套是不被支持的，也即不能在一个RDD操作的内部再使用RDD。

这是因为并行式函数将以闭包的形式发送至各个worker。若并行式函数使用了rdd的引用，spark将会把当前rdd对象闭包给worker.然而，对rdd对象的执行只能由driver进行，worker并不能执行，所以会导致错误。

Python大数据分析与人工智能中的Spark - RDD案例分析与实战
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
12-13 1186
Spark的核心概念弹性分布式数据集（RDD）为处理海量数据提供了一种高效、灵活且可靠的方式。RDD能够在集群环境中进行分布式计算，充分利用集群的计算资源，使得数据处理速度大大提高。无论是处理结构化数据、半结构化数据还是非结构化数据，RDD都能够发挥重要作用。通过深入研究Spark - RDD的案例分析和实战操作，我们可以更好地掌握大数据分析和人工智能的核心技术，从而为解决实际问题提供有力的支持。
【RDD】创建RDD及读取文件
yuxeaotao的博客
07-08 2421
Spark shell提供了SparkContext变量，使用创建RDD。 使用scala时，从中获取对象，并使用来创建rdd，这个函数还有另一个signature，它附加了一个整数参数来指定分区的数量。分区是Apache Spark中并行性的基本单位。Apache Spark中的RDD是分区的集合。（Partitions are basic units of parallelism in Apache Spark. RDDs in Apache Spark are a collection of pa
Apache Spark实战教程(二)：Spark 中需要两个RDD进行嵌套操作
UncleTian的博客
01-17 1844
一，前言 因为在Spark中进行RDD的嵌套操作,所以在操作的时候报了一个错误 Caused by: org.apache.spark.SparkException: This RDD lacks a SparkContext. It could happen in the following cases: RDD transformations and actions are NOT invo...
Spark PG2. RDDs 并行集合 外部数据集
Henvealf的博客
11-26 680
可伸缩的分布式数据集 Resilient Distributed Datasets (RDDs) 原文地址： http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用，转载请注明出处。如有错误，欢迎指出!! Henvealf/译Spark 的核心概念就是 RDD，是一个容错性极高的元素集合，他可以使用在并行的操作中。
java 调用scala map_使用Scala中的RDD.map（）执行嵌套循环
weixin_42449548的博客
02-16 1211
我对Spark和Scala颇为陌生，并且拥有Java背景。我已经在haskell中做了一些编程，所以对函数式编程不是全新的。使用Scala中的RDD.map()执行嵌套循环我正试图完成某种形式的嵌套for循环。我有一个RDD，我想根据RDD中的每两个元素来操作。伪码(类似Java的)应该是这样的：// some RDD named rdd is available before thisList ...
Spark中RDD的常见方法
说文科技，做有态度的研究。
04-10 3713
Spark中RDD的常见方法 一.集合中的常见方法 1.union()，求出两个RDD的并集 2.intersection()，求出两个RDD的交集 3.subtract()，求出去除某个RDD中所有元素外的元素 4.这些集合的方法适合所有类型相同的RDD，【这些元素可以是数字，可以是字符串】 4.代码如下： scala> val rdd1 =sc.paralleliz...
Spark 中如何两个RDD进行嵌套操作——广播+累加器
iwtbs
04-30 1611
文章目录累加器广播变量 累加器 file = sc.textFile(inputFile) # 创建Accumulator[Int]并初始化为0 blankLines = sc.accumulator(0) def extractCallSigns(line): global blankLines # 访问全局变量 if (line == ""): blankLines += 1 ...
PySpark | RDD
liujiesxs的博客
06-23 2960
Transformation算子、Action算子、分区操作算子
处理嵌套for循环中的事务处理
qq_40981804的博客
03-16 5632
方法一：手动进行回滚（不推荐使用） 步骤： 1、自定义异常（继承exception类，添加有参和无参的构造方法） 2、将嵌套for循环，写到一个自定义的方法，产生自定义的异常并抛出 3、调用嵌套for循环的方法，捕获异常并手动进行回滚操作 TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();/...
rdd算子中能使用rdd的引用吗？
tanglizhe1105的博客
03-21 3596
rdd算子中调用的客户函数坚决不能出现任何形式的rdd引用，否则会报很严重的错误： java.lang.ClassCastException: org.apache.spark.MapOutputTrackerWorker cannot be cast to org.apache.spark.MapOutputTrackerMaster这是因为客户函数将以闭包的形式发送至各个worker。若客户
java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module
微电子学与固体电子学-俞驰
07-25 6245
(python2.7) appleyuchi@ubuntu:~$ pyspark Python 2.7.12 (default, Nov 19 2016, 06:48:10)  [GCC 5.4.0 20160609] on linux2 Type "help", "copyright", "credits" or "license" for more information. 18/07/25 ...
Pyspark-RDD不能嵌套
ai_1046067944的专栏
07-23 1722
df = sqlContext.createDataFrame( [(0,1, "a", 23.0), (1,3, "C", -23.0), (2,3, "A", -21.0), (3,2, "B", -19.0) ], ('sec_code','dt','minute') ) df.show() a = [(1,rdd)] rdd = sc.parallelize(a) Tracebac...
Spark之深入理解RDD结构
热门推荐
TcD的博客
01-06 2万+
RDD RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。 RDD的特点： 1. 是一个分区的只读记录的集合； 2. 一个具有容错机制的特殊集； 3. 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建； 4. 可以分布在集群的节点上，以函数式操
rdd统计人数
最新发布
04-14
### 使用RDD计算元素数量或统计人数 在 Spark 中，可以通过 `count()` 方法来统计 RDD 的总元素数量。`count()` 是一种行动算子 (Action)，它会返回 RDD 中的元素总数。以下是实现此功能的具体方式： #### 统计 RDD 总元素数量 如果目标是简单地统计整个 RDD 的元素数量，可以直接调用 `count()` 方法： ```python rdd.count() ``` 上述代码将返回 RDD 中所有元素的数量[^1]。 #### 去重后统计人数 如果需要统计的是唯一用户的数量（例如去重后的用户数），可以先使用 `distinct()` 转换算子去除重复项，然后再调用 `count()` 进行统计： ```python unique_users_count = rdd.distinct().count() ``` 这里，`distinct()` 将移除 RDD 中的重复元素，随后 `count()` 返回剩余的独特元素数目[^4]。 #### 针对特定字段统计人数 假设输入数据是一个键值对形式的 RDD （如 `(date, user_name)`），并且希望按某个维度（比如日期）统计每天新增的不同用户数量，则可采用以下流程： 1. **映射至所需字段**：提取出感兴趣的字段组合。 2. **去重操作**：确保每一天内的记录不包含重复用户名。 3. **聚合并计数**：按照日期分组并对各组分别应用 `count()` 或其他集合运算。 具体例子如下所示： ```python from pyspark import SparkContext sc = SparkContext("local", "UserCountApp") # 加载数据作为RDD lines_rdd = sc.textFile("/input/user.txt") pairs_rdd = lines_rdd.map(lambda line: tuple(line.split())) # 对每一对(date,user)做distinct后再groupByKey得到每日独立访客列表长度 daily_unique_visitors_counts = pairs_rdd \ .distinct() \ .map(lambda pair: (pair[0], 1)) \ .reduceByKey(lambda a,b :a+b) result=daily_unique_visitors_counts.collect() for date,count in result: print(f"{date}: {count} unique visitors.") ``` 以上脚本展示了如何加载文本文件、解析成元祖型态的数据结构，并最终得出每日独特访问者的总计数值[^4]。 ### 注意事项 - 如果原始数据量较大或者存在复杂嵌套关系，在实际开发过程中可能还需要考虑性能优化策略以及内存管理等问题。 - 当处理大规模分布式环境下的大数据集时，请务必注意广播变量的应用场景及其带来的好处；另外也要合理设置shuffle partition参数以平衡负载均衡性和资源利用率之间的矛盾点。 问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值