Spark基本操作-sc

最新推荐文章于 2025-04-13 18:39:45 发布

Top_zhangxu

最新推荐文章于 2025-04-13 18:39:45 发布

阅读量9.1k

点赞数 3

分类专栏：大数据文章标签： spark

本文链接：https://blog.youkuaiyun.com/Top_zhangxu/article/details/79864794

版权

这篇博客介绍了Spark的基本操作，包括创建SparkSession、构建sc、从内存和文件创建RDD，以及常用的转换和操作。重点讲解了.map、.filter、.flatMap、.distinct、.sample、.repartition方法，还有.take、.collect、.reduce和.count方法的使用，并通过实例展示了如何计算文本的总字数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建 SparkSession

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Word Count") \
    .getOrCreate()

构建 sc

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Word Count") \
    .getOrCreate()

sc = spark.sparkContext

创建RDD

从内存生成创建

data = sc.parallelize([('a',1),('b',

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Top_zhangxu

关注关注

3
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

头歌：Spark案例剖析 - 谷歌网页排名引擎PageRank实战

weixin_62399938的博客

04-30

2695

下面我们重点介绍Spark SQL的初始化，数据库的使用，外部数据的导入，从而将网页数据导入数据库中方便之后处理。Spark SQL是Spark自带的数据库，本关你将应用Spark SQL的数据导入工具实现文本数据的导入。总的来说，就是预先给一个网页PR值（此处用PR代替PageRank值），由于PR的现实意义是一个网页被访问的概率，一般为1/N,网页的总数为N,并且所有的网页PR总值为1。如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高。

Spark Streaming 指南--Spark2.4.3

olu

06-15

1505

目录总览快速入门基本概念连接初始化StreamingContext离散Streams(DStreams)输入DStreams和接收器基本数据源高级数据源Receiver的可靠性DStreams上的transformationsUpdateStateByKey 操作transformation操作window操作Join操作Stream-stream joinStream-dataset joinD...

参与评论您还未登录，请先登录后发表或查看评论

spark和sc关系

wo_renshen的博客

12-11

1213

spark = SparkSession.builder.enableHiveSupport().appName("GBDT").getOrCreate() spark.sparkContext.setLogLevel("Error") sc = spark.sparkContext

spark代码sc统一配置

wangkai198911的博客

12-06

1950

之前写了两篇关于mlib的应用，其实都是在一个project内的，在创建sc的过程中，可以通过继承统一的trait简化sc的创建。val postgprop = new Properties val path = this.getClass.getResourceAsStream("/config.properties")读取相关配置文件key.name=value jdbcURL=jdbc:m

Spark RDD 常用操作详解

最新发布

2501_90817086的博客

04-13

917

定义转换函数... return (x, 1) # 返回元组（元素，1）# 应用自定义函数>>> rdd2 = rdd1.map(trans) # 使用函数名而非lambda。

spark踩坑之sc这个东东的特殊性

u012501054的博客

07-26

2946

最近在搞spark，在封装scala和python的sdk时，发现一些很玄妙的事情：以下是所需封装的python模块文件basejob.py，直接定义全局变量sc，在被import到别的程序中会无法使用这个全局变量sc，经验证需要在函数里定义并把它传递过去才可以。 ...

【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式

一个大数据的爱好者

11-01

566

Spark中如何获取sc对象、以及创建RDD的两种方式

Spark数据读取和创建

Code_LT的博客

07-07

605

rdd,datarame创建和读取

pyspark-spark基本的概念-spark本地模式-集群模式-HA模式

LIUERTOU的博客

11-06

1547

spark的基本概念 spark基本概念 spark就是一款大规模数据的统一分析引擎，基于内存计算，整个spark核心的数据架构是RDD（弹性分布式数据集，认为是列表list），由加州大学柏克莱发表，后贡献给了Apache spark框架中各个节点的通信采用的模块为：netty框架为什么说spark的运行效率比mr快一点？ spark核心: 弹性分布式数据集(RDD), 借鉴了MR的分布式并行计算的思想, 但是解决了MR存在的一些问题, 会将中间的结果存储在内存中(如果存储不下, 也可以

Spark---RDD的创建分类和基础操作算子详解

onthe_wing的博客

04-21

1156

转换算子(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。集合中的每一个元素，都要作用func匿名函数，返回0到多个新的元素，这些新的元素共同构成一个新的RDD。是一个one-to-many的操作。

Spark官方简述

weixin_39868387的博客

03-04

829

Spark是一种分布式的计算框架，可以处理海量数据，目前流行的计算框架 MapReduce：适用于离线批处理，也可以用于实时计算 Storm: 用于实时计算 Spark：即可以用于离线批处理，也可以用于实时计算 Flink：主要用于实时计算综上，我们发现MapReduce计算框架是一种高度依赖于磁盘I/O框架，而且在有些业务场景下，比如某算法（梯度下降法，逻辑回归）会多次用到前写job的结...

【极简spark教程】开始实战

檐前潜心学种瓜

04-09

469

spark命令行、intellij本地开发配置

Spark SQL重点知识总结

微信搜：import_bigdata，大数据领域硬核原创作者

06-18

905

一、Spark SQL的概念理解Spark SQL是spark套件中一个模板，它将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据...

Spark的安装和基础编程

半濠春水的博客

07-13

3192

（一）熟悉Spark Shell。（二）编写Spark的独立的应用程序。

Spark基础入门

磨刀大神的博客

07-11

623

Spark简介 Apache Spark是一个用于实时处理的开源集群计算框架。它是Apache软件基金会中最成功的项目。 Spark已成为大数据处理市场的领导者。今天，Spark被亚马逊，eBay和雅虎等主要厂商采用。许多组织在具有数千个节点的集群上运行Spark。 MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS...

Spark环境搭建（保姆级教程）

热门推荐

tangyi2008的专栏

02-24

5万+

Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。

大数据之Spark 知识体系完整解读

weixin_45732643的博客

10-28

303

Spark 简介 Spark 是整个 BDAS 的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层...

scala中各种符号的意思

干货

04-08

1万+

1. 泛型限定泛型中的符号 <: >: <% : + - 符号作用 [T <: UpperBound] 上界 [T >: LowerBound] 下界 [T <% ViewBound] 视界 [T : ContextBound] 上下文界 [+T] 协变...

Scala之文件读取与写入

大数据跟我学i

04-16

1万+

文章目录读取文件数据按行读取按字符读取写入数据读取文件数据在Scala语言的 Source单例对象中中, 提供了一些非常便捷的方法, 从而使开发者可以快速的从指定数据源(文本文件, URL地址等)中获取数据, 在使用 Source单例对象之前, 需要先导包, 即 import scala.io.Source . 按行读取概述我们可以以行为单位, 来读取数据源中的数据, 返回值是一个迭代器类型的对象 . 然后通过 toArray, toList 方法, 将这些数据放到数组或者列表中即可.

spark streaming基本操作

09-01

Spark Streaming 是 Apache Spark 提供的一种处理实时数据流的组件。它允许开发者使用与批处理相似的编程模型来处理连续流数据。下面是 Spark Streaming 的基本操作： 1. 导入必要的类和库： ```python from pyspark.streaming import StreamingContext from pyspark import SparkContext ``` 2. 创建 SparkContext 和 StreamingContext 对象： ```python sc = SparkContext(appName="StreamingExample") ssc = StreamingContext(sc, batchDuration) # batchDuration 是每个批次的时间间隔，例如 1 秒 ``` 3. 创建 DStream 对象： DStream 是 Spark Streaming 的核心抽象，代表连续的数据流。可以从多种数据源创建 DStream，例如 Kafka、Flume、HDFS 等。 ```python lines = ssc.socketTextStream(hostname, port) # 从 TCP socket 创建 DStream ``` 4. 对 DStream 应用转换操作： DStream 支持各种转换操作，例如 map、filter、reduceByKey 等，这些操作会在每个批次上运行。 ```python words = lines.flatMap(lambda line: line.split(" ")) word_counts = words.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) ``` 5. 指定输出操作： Spark Streaming 可以将结果输出到控制台、文件、数据库等。不同的输出操作需要调用不同的函数。 ```python word_counts.pprint() # 将结果打印到控制台 ``` 6. 启动 Spark Streaming 应用： ```python ssc.start() ssc.awaitTermination() ``` 以上是 Spark Streaming 的基本操作流程，可以根据具体需求进行扩展和定制化。希望对你有所帮助！如果还有其他问题，请随时提问。