spark在IntelliJ中输出filter想要的结果

最新推荐文章于 2025-06-28 09:21:57 发布
原创 最新推荐文章于 2025-06-28 09:21:57 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark filter foreach

本文档介绍了如何在IntelliJ中利用Spark的filter操作筛选数据。首先，通过SparkContext将Scala集合转为RDD，接着使用filter方法筛选所需数据，并通过collect方法将filter后的RDD转换为集合进行查看。最后，使用foreach配合println逐行输出筛选结果。参考链接提供了更多关于输出详细结果的方法。

1.通过SparkContext把Scala中的集合转化为RDD

通过SparkContext提供的parallelize方法把Scala中的集合转换为RDD 
val listRDD = sc.parallelize(List(6,8,10,12,16))

2.filter筛选想要数据

这里我们通过filter筛选出大于10的元素 
val filterRDD = listRDD.filter(_ >10)

3.输出filterRDD

结果为：MapPartitionsRDD[1] at filter at PrintDemo.scala:25
发现不是我们想要的

4.把filterRDD通过collect转换为集合，然后输出查看

println(filterRDD.collect())
结果为：[I@33128e87  还是不是我们想要的结果。

5.通过foreach(println)隔行输出想要的结果

filterRDD.foreach(println)

6.完整代码示例截屏如下



7.关于如何输出想要的结果请查看此前文章，链接如下：

http://blog.youkuaiyun.com/rivercode/article/details/59481941
Spark 算子之filter使用
congge_study的博客
04-22 5764
Spark 算子之filter使用
Spark中filter算子详解介绍
优快云 精品推荐
08-16 1606
对于过滤操作在一些任务中是很常见的，我们需要根据特定的业务场景来筛选出我们需要的数据，对于这个需求我们可以使用 `filter` 这个算子来实现，只需要将筛选的逻辑封装成函数传入即可。
利用pyspark实现spark编程之数据去重及筛选
m0_47399957的博客
11-18 2423
利用pyspark实现spark编程之数据去重 数据源文件 #zuoye1 # 初始化SparkContext from pyspark import SparkContext sc = SparkContext('local', 'remdup') # 加载两个文件A和B lines1 = sc.textFile("/usr/local/hadoop/A.txt") lines2 = sc.textFile("/usr/local/hadoop/B.txt") # 合并两个文件的内容 lines =
spark代码中过滤出异常的数据记录
攻城狮Kevin
04-08 1374
读取hdfs文件，对每一行做处理，有的行处理的时候，解析不成功，需要导出解析不成功的数据行记录 用如下代码： val rowData = sc.textFile(inputPath).filter(x => { val arr = x.split(splitType, -1) val faid = arr(0) val tagkv = arr(1) ...
spark常用的算子总结（8）—— filter
08-31 383
把超过某一个数的拿出来collect val filterRdd = sc.parallelize(List(1,2,3,4,5)).map(_*2).filter(_>5) filterRdd.collect # res5: Array[Int] = Array(6, 8, 10) 转载于:https://www.cnblogs.com/pocahont...
Spark在大数据ETL中的应用：数据清洗与转换实战
AI天才研究院
05-07 1399
随着企业数据量呈指数级增长（IDC预测2025年全球数据量将达175ZB），传统ETL工具（如Kettle、Informatica）在处理PB级数据时面临计算效率低、扩展性差等瓶颈。Spark凭借内存计算、分布式架构和对结构化/非结构化数据的统一处理能力，成为大数据ETL的事实标准。本文聚焦Spark在数据清洗（Data Cleaning）与转换（Data Transformation）阶段的核心应用，覆盖从基础操作到复杂业务规则的全场景。核心概念：明确ETL与Spark的技术关联。
Spark在保险业风险评估中的大数据应用
AI天才研究院
05-09 988
随着保险行业数据量的爆发式增长（年均数据增速超40%），传统风险评估方法在处理PB级结构化（保单数据、理赔记录）与非结构化数据（图像、文本、传感器数据）时面临效率瓶颈。本文聚焦Spark分布式计算框架，解析其在保险风险评估中的数据清洗、特征工程、模型训练及实时推理等核心环节，覆盖财产险、健康险、车险等主要险种的风控场景，提供从技术原理到工程实践的完整解决方案。
Spark在基因组学大数据处理中的应用
AI天才研究院
05-13 1133
基因组学研究产生的海量数据（如全基因组测序数据、转录组数据、表观基因组数据）对计算平台的存储、处理和分析能力提出了极高要求。传统基于Linux集群的Shell脚本或单机Python工具（如BWA、GATK）在面对PB级数据时，存在计算效率低、资源利用率不足、扩展性差等问题。本文聚焦Spark在基因组学数据处理中的核心应用场景，涵盖数据清洗、序列比对、变异检测、功能注释等关键环节，通过技术原理剖析、算法实现和实战案例，论证Spark在提升基因组学数据分析效率中的技术优势。核心概念。
如何在Spark中使用Java？
AI天才研究院
08-16 762
1. 背景介绍 1.1 大数据时代的计算挑战 随着互联网和物联网的快速发展，全球数据量呈爆炸式增长，传统的单机计算模式已经无法满足海量数据的处理需求。大数据技术的出现为解决这一挑战提供了新的思路，而Spark作为新一代大数据处理引擎，以其高效、易用、通用等特点，迅速成为业界主流选择。
还是写在 IntelliJ IDEA 中编写 Spark 流式处理代码，使三个查询结果（分组聚合、整体聚合、前 3 排序）一起刷新这个
最新发布
11-18
以下是在 IntelliJ IDEA 中编写 Spark 流式处理代码实现分组聚合、整体聚合、前 3 排序结果一起刷新的示例代码，假设使用的是 Spark Streaming 且数据源为套接字： ```scala import org.apache.spark.SparkConf ...
Spark filter的基本使用
star5610的博客
05-27 1万+
import java.util.Calendar import scala.collection.mutable.ListBuffer object Test1 { def main(args: Array[String]): Unit = { var list:ListBuffer[Tuple3[String,String,Int]]=ListBuffer() list.+=(("张三", "男", 1998)) list.+=(("李四", "女", 1997))
过滤Spark数据集的四种方法
chenchitan的博客
11-16 4286
文章目录FilterMapMapPartitionsInner Join总结 在实际工作中，根据某个字段，对一个Spark数据集进行过滤，是一个很常见的场景，举个例子： 一个存储公司员工信息的数据集A，有以下三个字段： id: Integer name: String age: Integer 现在要过滤出某些员工的id，这些id在B集合（B可能是哈希表，也可能是Spark数据集）中，过滤逻辑为： C = A.filter(A.id in B) 有四种方法可以实现，分别为： Filter Map Ma
Spark中各类方法总结
2301_80087224的博客
05-09 1616
在进行处理时， reduceByKey (）方法将相同键的前两个值传给输入函数，产生一个新的返回值，新产生的返回值与 RDD 中相同键的下一个值组成两个元素，再传给输入函数，直到最后每个键只有一个对应的值为止。使用 flatMap (）方法时先进行 map （映射）再进行 flat （扁平化）操作，数据会先经过跟 map (）方法一样的操作，为每一条输入返回一个迭代器（可迭代的数据类型），然后将所得到的不同级别的迭代器中的元素全部当成同级别的元素，返回一个元素级别全部相同的 RDD。
spark：常用算子filter、distinct、union、join、intersection、glom、groupByKey、sort、reduce等
不负长风
10-03 155
如果要全局有序，排序分区数要设置为1。union算子不会去重。
spark filter过滤某个字段在几个值里面_Spark基础：读写JDBC
weixin_29741447的博客
02-03 1507
Spark SQL支持通过JDBC直接读取数据库中的数据，这个特性是基于JdbcRDD实现。返回值作为DataFrame返回，这样可以直接使用Spark SQL并跟其他的数据源进行join操作。JDBC数据源可以很简单的通过Java或者Python，而不需要提供ClassTag。注意这与Spark SQL JDBC server不同，后者是基于Spark SQL执行查询。要保证能使用需要把对应的j...
spark 算子优化 filter + coalecse
weixin_42435657的博客
04-07 514
主要就是用于在filter操作之后，针对每个partition的数据量各不相同的情况，来压缩partition的数量。1、每个partition数据量变少了，但是在后面进行处理的时候，还是要跟partition数量一样数量的task，那么这样的话，后面的task分配到的partition的数据量。2、每个partition的数据量不一样，会导致后面的每个task处理每个partition的时候，避免了数据倾斜的问题。那么在后面的task处理逻辑一样的情况下，不同的task要处理的数据量可能差别达到了9倍，
Spark的Dataset操作(二)-过滤的filter和where
热门推荐
coding_hello的专栏
07-12 6万+
spark-sql的filter,where的用法
spark中filter函数的一个用法
Mr Zhu's little cute
03-05 3860
spark中filter函数的一个用法
Spark RDD基础操作详解：从filter、map到collect
gitblog_00761的博客
06-28 356
Apache Spark的核心概念之一是弹性分布式数据集(RDD)，它是Spark中最基本的数据抽象。RDD代表一个不可变、可分区的元素集合，可以并行操作。在Spark编程中，掌握RDD的基本操作是至关重要的。 ## 数据准备 在开始之前，我们需要准备一个数据集。这里使用的是KDD Cup 1999网络入侵检测数据集的10%子集，包含约50万条网络交互记录。这个数据集非常适合用来演示Spark...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值