spark

满分对我强制爱

已于 2025-02-18 14:30:13 修改

阅读量253

点赞数 3

文章标签： spark 分布式

于 2025-02-18 14:26:43 首次发布

本文链接：https://blog.youkuaiyun.com/2301_82251033/article/details/145676315

版权

阶段性

阶段一：

单机时代

阶段二:
大数据时代-分布式处理

阶段三:
实时大数据时代
hadoop慢因为她的计算结果保存在磁盘处理在spark中可解决属于内存

Hadoop特点：

高可靠性

高拓展性

高效性

高容错性

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

满分对我强制爱

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据｜Spark介绍

知识库搭建ing

05-18

9086

park为了解决以往分布式计算框架存在的一些问题(重复计算、资源共享、系统组合)，提出了一个分布式数据集的抽象数据模型：RDD(Resilient Distributed Datasets)弹性分布式数据集。

Spark 配置项

热门推荐

03-30

8万+

首先，对于 CPU 类配置项，我们要重点理解并行度与并行计算任务数的区别。并行度从数据的角度出发，明确了数据划分的粒度，并行度越高，数据粒度越细，数据越分散，CPU 资源利用越充分，但同时要提防数据粒度过细导致的调度系统开销。并行计算任务数则不同，它从计算的角度出发，强调了分布式集群在任一时刻并行处理的能力和容量。并行度与并行计算任务数之间互相影响、相互制约。其次，对于内存类配置项，我们要知道怎么设置它们来平衡不同内存区域的方法。在平衡堆外与堆内内存的时候，我们要重点考察数据模式。

参与评论您还未登录，请先登录后发表或查看评论

Spark简介

lydms的博客

10-22

1万+

部署Spark集群大体上分为两种模式：单机模式与集群模式大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。

spark简介

难得糊涂

04-23

1万+

序言 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相

Spark Shell 的使用

12-16

5万+

现在我们已经执行了行动操作，执行这些操作需要从磁盘读取数据，Spark在处理这些操作的时候，会把数据缓存起来，后续不管对该RDD执行转换操作还是行动操作，都将直接从内存读取，而不需要和磁盘进行交互。如果数据已经存在外部文件系统，例如本地文件系统，HDFS，HBase，Cassandra，S3 等，可以使用这种方式，即调用 SparkContext 的 textFile 方法，并把文件目录或者路径作为参数。操作，RDD并不会立即缓存，直到执行行动（Action）操作，数据才会真正缓存在内存中。

Spark基础入门

桃李不言下自成蹊

12-14

4万+

sparkcore sparksql sparkstreaming structedstreming

Spark端口

tangfatter的博客

12-23

5678

一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。此端口号默认为4040，展示信息如下：调度器阶段和任务列表 RDD大小和内存使用情况环境信息正在运行的executors的信息演示如下：通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字

Spark大数据分析与实战笔记（第二章 Spark基础-01）

想你依然心痛的博客

01-01

3万+

Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。如下图所示：Spark Core。

Spark

upupfeng的博客

05-30

2913

简介 Spark是使用Scala语言编写、基于内存运算的大数据计算框架。以Spark core为核心，提供了Spark SQL、Spark Streaming、MLlib几大功能组件中文文档：https://spark.apachecn.org/#/ github地址：https://github.com/apache/spark Spark Core Spark提供了多种资源调度框架，基于内...

spark期末复习资料

06-07

大学生期末复习《spark编程基础（python版）》

实验七：Spark初级编程实践

07-15

【Spark 初级编程实践】 Spark 是一个分布式计算框架，常用于大数据处理，它提供了高效的数据处理能力，包括批处理、交互式查询、实时流处理等。本实验旨在通过实践操作，让学生熟悉 Spark 的基本使用，包括安装...

spark-3.1.3-bin-hadoop3.2.tgz

05-19

Apache Spark 是一个强大的开源大数据处理框架，主要用于快速、通用以及可扩展的数据处理。在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中，我们得到了Spark的3.1.3版本，它已经预编译为与Hadoop 3.2兼容。这...

spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)

07-19

文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统，用于大规模数据处理。这个文件包含了所有必要的组件，...

4.2.4 Spark SQL 数据写入模式

howard2005的专栏

05-31

476

在本节实战中，我们详细探讨了Spark SQL中数据写入的四种模式：ErrorIfExists、Append、Overwrite和Ignore。通过具体案例，我们演示了如何使用`mode()`方法结合`SaveMode`枚举类来控制数据写入行为。我们首先读取了一个JSON文件生成DataFrame，然后分别采用覆写、追加、忽略和存在报错模式将数据保存到HDFS。

Spark on Hive表结构变更

Java/Python大数据随笔

06-01

761

在Spark on Hive架构中，表结构（Schema）变更是一个常见且重要的操作。理解其背景、使用场景以及具体方式对于大数据平台管理至关重要1.1、Spark on Hive元数据管理核心组件。它是一个独立的关系型数据库（如MySQL、PostgreSQL），存储了Hive表、分区、列、数据类型、存储位置等元数据信息Spark本身不存储元数据。当Spark需要处理Hive表时，它通过HMS连接到Hive Metastore数据库，获取表的元数据（Schema、分区、文件位置等）

4.2.5 Spark SQL 分区自动推断

howard2005的专栏

05-31

592

在本节实战中，我们学习了Spark SQL的分区自动推断功能，这是一种提升查询性能的有效手段。通过创建具有不同分区的目录结构，并在这些目录中放置JSON文件，我们模拟了一个分区表的环境。使用Spark SQL读取这些数据时，Spark能够自动识别分区结构，并将分区目录转化为DataFrame的分区字段。

数据仓库分层 4 层模型是什么？

Mirrorship的博客

05-29

1245

数据仓库分层 4 层模型是一种被广泛采用的架构设计，它将数据仓库划分为四个功能明确的层次：ODS 层、DWD 层、DWS 层和 ADS 层。每一层都有其特定的职责和处理逻辑，共同构成了一个完整的数据处理流程。

4.2.2 Spark SQL 默认数据源

howard2005的专栏

05-30

611

在本实战概述中，我们探讨了如何在 Spark SQL 中使用 Parquet 格式作为默认数据源。首先，我们了解了 Parquet 文件的存储特性，包括其二进制存储方式和内嵌的 Schema 信息。接着，通过一系列命令，我们演示了如何在 HDFS 上上传、读取和保存 Parquet 文件。此外，我们还通过 Spark Shell 和 IntelliJ IDEA 进行了实践操作，包括创建 Maven 项目、添加依赖、配置环境和编写 Scala 程序来读取和处理 Parquet 文件。

记一次运行spark报错