Davina_yu的博客

centos7搭建+三台虚拟机搭建+jdk8 1.8.0_161安装 + mysql 5.7.38安装 + hadoop 3.2.2 集群搭建+ hive 3.1.2搭建 + sqoop1.4.7搭建

在安装Apache Spark之前，需要确保满足以下前提条件。这些条件将帮助你顺利安装和配置Spark，并确保其正常运行。

Apache Spark 支持多种运行模式，每种模式都有其特定的使用场景和优势。

Apache Spark 是一个开源的分布式计算系统，专为大规模数据处理而设计。它最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, and People Lab）开发，并于2010年开源。Spark 的设计初衷是为了克服 Hadoop MapReduce 在处理迭代算法和交互式查询时的局限性，特别是通过内存计算来提高数据处理的速度。

大数据是指数据集过于庞大或复杂，以至于传统的数据处理应用软件不足以有效地处理它们。大数据的特点通常被总结为“4VVolume（体量大）、Velocity（速度快）、Variety（多样性）、Veracity（真实性）。工具优点缺点Flume- 高可靠性和容错性- 简单的配置和易于扩展- 支持多种数据源和接收器- 主要适用于日志数据- 对于复杂的ETL操作支持有限Kafka- 高吞吐量和低延迟- 强大的持久性和容错性- 支持实时流处理- 配置和管理相对复杂。

什么是Apache Spark？Apache Spark是一个快速的、通用的大规模数据处理引擎。Spark的历史和发展起源于2009年的加州大学伯克利分校AMPLab项目。成为了Apache软件基金会的一个顶级项目。Spark的优势和应用场景内存计算，快速迭代。应用于批处理、交互式查询、流处理、机器学习等。Spark生态系统概览包括Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX等。