【Spark】1.spark初识

最新推荐文章于 2024-07-03 17:44:45 发布

原创最新推荐文章于 2024-07-03 17:44:45 发布 · 280 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

13 篇文章

订阅专栏

Spark是一个快速且通用的集群计算平台，支持多种计算模式，如交互式查询和流处理。它提供丰富的接口，可与大数据工具如Hadoop配合使用。Spark由多个紧密集成的组件组成，包括Spark Core、Spark SQL、Spark Streaming、MLib和GraphX，覆盖了从数据处理到机器学习的广泛需求。

概念

Spark是一个用来实现快速而通用的集群计算的平台。
    1.在速度方面，Spark扩展了广泛使用的MapReduce计算模型，高效的支持更多的计算模式，包括交互式查询和流处理。Spark的另外一个主要特点是能够在内存上计算。
    2.Spark提供的接口十分丰富，除了Python,Java，Scala和SQL的简易使用API以外，Spark还可以和其他大数据工具密切配合使用。例如Hadoop集群上。

一个大统一的软件栈

Spark项目包含多个紧密集成的组件。其核心是一个有很多计算机任务组成的、运行在多个工作机器或者一个计算集群上的应用进行调度、分类以及监视的计算引擎。
这种紧密结合的设计原理的优点：
    1.所有程序和高级组件都可以从下层的改进中获取收益。
    2.运行整个软件栈的代价变小了。
    3.能够构建出无缝整合多个不同处理模型的应用。

1.Spark Core

实现了Spark的基本功能，包括任务调度、内存管理、错误恢复、与存储系统交互等模块。同时还包括了对弹性分布式数据集（RDD）API的定义。
RDD表示分布在多个计算节点上可以并行操作的元素集合，是Spark主要的编程对象

2.Spark SQL

是Spark操作结构化数据的程序包，通过Spark SQL我们可以使用SQL或者Hive版本的SQL方言来查询数据，支持开发者将SQL和传统的RDD编程数据操作方式相结合。

3.Spark Streaming

是Spark提供对实时数据进行流式计算的组件，比如网页服务器日志等都是数据流。Spark Streaming提供了操作这些数据流的API，并且与Spark Core中的RDD API高度对应。

4.MLib

MLib是一个提供了常见机器学习功能的程序库，包括分类回归聚类协同过滤等。

5.GraphX

GraphX是用来操作图的程序库。

6.集群管理器

Spark可以高效的在一个节点到数千个节点之间伸缩性计算，为了实现这一要求，Spark可以支持在各类集群管理器上运行，包括Hadoop YARN,Apcahe Mesos等，以及Spark自带的一个建议调度器---独立调度器。

Spark用户和用途

Spark用例可以分为两大类---数据科学应用和数据处理应用。

1.数据科学应用

Spark通过一系列组件来提供数据科学应用服务，提供python，scala接口方便的进行交互式数据分析等等

2.数据处理应用

通过封装，Spark不需要开发者关注如何在分布式系统上如何编程这样复杂的问题，也无需关注网络通信和程序容错率等等。Spark提供了足够的接口来快速实现常见的任务，以及对人物的监视，审查和性能优化。