Spark搭建

于 2023-12-28 09:53:44 发布
阅读量963 收藏 19
点赞数 25
文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cc__cc___/article/details/135261611
版权

Spark搭建（三种模式）

Local模式

主要用于本地开发测试

本文档主要介绍如何在IDEA中配置Spark开发环境

  • 打开IDEA，创建Maven项目

  • 在IDEA设置中安装Scala插件

    image.png

  • 在pom.xml文件中添加Scala依赖

            <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.10</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>2.12.10</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.12.10</version>
        </dependency>

  • 在pom.xml中添加Scala编译插件

    需要加在build->plugins标签下

                <!-- Scala Compiler -->
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

  • 在pom.xml文件中添加Spark-Core依赖

            <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>

  • 编写第一个Spark程序

    • 准备words.txt数据，每一行包含多个单词，单词之间以逗号分隔

      java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop

    • 编写代码

      注意words.txt文件路径，按自身情况修改

      package com.shujia.core

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo01WordCount {
  def main(args: Array[String]): Unit = {
    // 1、构建Spark环境
    // 配置Spark任务
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo01WordCount") // 设置任务名
    conf.setMaster("local") // 设置Spark的运行方式
    // 创建SparkContext --> Spark程序的入口
    val sc: SparkContext = new SparkContext(conf)

    // 2、构建Spark程序
    // 加载数据
    val lineRDD: RDD[String] = sc.textFile("spark/data/words.txt")
    // 将每个单词提取出来
    val wordsRDD: RDD[String] = lineRDD.flatMap(_.split(","))
    // 按每个单词进行分组
    val groupRDD: RDD[(String, Iterable[String])] = wordsRDD.groupBy(word => word)
    // 统计每个单词的数量
    val wordCntRDD: RDD[String] = groupRDD.map(kv => s"${kv._1},${kv._2.size}")
    // 将结果输出
    wordCntRDD.foreach(println)
  }
}

    • 右键运行，结果如下

      image.png

  • 常见错误

    • windows环境下运行任务通常会有如下报错

      23/10/07 11:23:40 WARN Shell: Did not find winutils.exe: {}
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

  • 原因分析

    • Spark程序运行时找不到winutils.exe程序或依赖

  • 解决方法

    • 下载winutils.exe程序

    • 在任意无中文路径位置新建bin目录，例如

      目录路径位置随意，但一定不要有中文目录

      D:/shujia/bigdata/hadoop3/bin

    • 将winutils.exe程序放入上述bin目录中

    • 在系统环境变量中增加一项HADOOP_HOME配置

    • 将D:/shujia/bigdata/hadoop3/目录作为HADOOP_HOME的值

      注意不要将bin目录包含在其中

    • 重启IDEA

      • 重新运行程序，检查错误是否消失
Standalone模式

  • 1、上传解压

    tar -zxvf spark-3.1.3-bin-without-hadoop.tgz -C /usr/local/soft
mv spark-3.1.3-bin-without-hadoop spark-3.1.3

  • 2、修改配置文件

    # 重命名文件
cp spark-env.sh.template spark-env.sh
cp workers.template workers

    增加配置：vim spark-env.sh

    master相当于RM worker相当于NM

    export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export SPARK_DIST_CLASSPATH=$(/usr/local/soft/hadoop-3.1.3/bin/hadoop classpath)

    增加从节点配置：vim workers

    以node1、node2作为从节点

    node1
node2

  • 3、复制到其它节点

    cd /usr/local/soft/
scp -r spark-3.1.3 node1:`pwd`
scp -r spark-3.1.3 node2:`pwd`

  • 4、配置环境变量

  • 5、在主节点执行启动命令

    注意：start-all.sh 与Hadoop的sbin目录中的启动命令有冲突

    cd /usr/local/soft/spark-3.1.3/
./sbin/start-all.sh

  • 6、访问Spark Web UI

    http://master:8080/

  • 7、测试及使用

    切换目录：cd /usr/local/soft/spark-3.1.3/examples/jars

    standalone client模式 ：日志在本地输出，一般用于上线前测试

    • 提交自带的SparkPi任务

      spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 spark-examples_2.12-3.1.3.jar 100

    standalone cluster模式：上线使用，不会在本地打印日志

    • 提交自带的SparkPi任务

      spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512M --total-executor-cores 1 --deploy-mode cluster spark-examples_2.12-3.1.3.jar 100

  • 8、其他运行方式

    • spark-shell spark 提供的一个交互式的命令行，可以直接写代码

      spark-shell --master spark://master:7077
On Yarn模式

在公司一般不适用standalone模式

因为公司一般已经有yarn 不需要搞两个资源管理框架

Spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的Spark 文件

  • 1、停止Spark Standalone模式集群

    # 切换目录
cd /usr/local/soft/spark-3.1.3/
# 停止集群
./sbin/stop-all.sh

  • 2、增加hadoop 配置文件地址

    vim spark-env.sh
# 增加HADOOP_CONF_DIR
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-3.1.3/etc/hadoop

  • 3、关闭Yarn

    stop-yarn.sh

  • 4、修改Yarn配置

    cd /usr/local/soft/hadoop-3.1.3/etc/hadoop/
vim yarn-site.xml

# 加入如下配置
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

  • 5、同步到其他节点

    scp -r yarn-site.xml node1:`pwd`
scp -r yarn-site.xml node2:`pwd`

  • 6、启动Yarn

    start-yarn.sh

  • 7、测试及使用

    切换目录：cd /usr/local/soft/spark-3.1.3/examples/jars

    Spark on Yarn Client模式：日志在本地输出，一班用于上线前测试

    • 提交自带的SparkPi任务

      spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi  --executor-memory 512M --num-executors 2 spark-examples_2.12-3.1.3.jar 100

    Spark on Yarn Cluster模式：上线使用，不会在本地打印日志

    • 提交自带的SparkPi任务

      spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi  --executor-memory 512M --num-executors 2 spark-examples_2.12-3.1.3.jar 100

    • 获取yarn程序执行日志 执行成功之后才能获取到

      yarn logs -applicationId application_1652086375126_0002

  • 8、开启Spark On Yarn的WEB UI

    修改配置文件：

    # 切换目录
cd /usr/local/soft/spark-3.1.3/conf

# 去除后缀
cp spark-defaults.conf.template spark-defaults.conf

# 修改spark-defaults.conf
vim spark-defaults.conf

# 加入以下配置
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://master:9000/user/spark/applicationHistory
spark.yarn.historyServer.address        master:18080
spark.eventLog.compress true
spark.history.fs.logDirectory   hdfs://master:9000/user/spark/applicationHistory
spark.history.retainedApplications      15

    创建HDFS目录用于存储Spark History日志

    hdfs dfs -mkdir -p /user/spark/applicationHistory

    启动Spark History Server

    cd /usr/local/soft/spark-3.1.3/
./sbin/start-history-server.sh
Hadoop系列 (六)：Spark搭建
Eric Ray的博客
10-14 1203
基于hadoop的spark搭建
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2811
Spaek基础搭建；基于Hadoop集群.
Spark Build
jvisualvm
11-11 299
原创转载请注明出处：http://agilestyle.iteye.com/blog/2337293   Prerequisite 硬件环境：Ubuntu16.04（8G内存）   软件环境：jdk1.7.0_80+scala-2.11.8+apache-maven-3.3.9   配置Linux下的环境变量（hadoop、hbase、hive以及zookeeper可以忽略） ...
spark（一） build
weixin_34007291的博客
11-17 117
（1）编译前的准备工作，安装jdk，解压maven，解压spark，解压scala并配置相关的环境变量 export JAVA_HOME=/opt/module/jdk1.6.0_45 export PATH=$PATH:$JAVA_HOME/bin export MAVEN_HOME=/opt/module/apache-maven-3.0.5 export PATH=$PATH:$MAVEN_...
spark shell ,在Windows上build Spark
u012302488的博客
04-09 1945
在本机（Windows 8）上安装spark玩一玩，Spark的Quick Start上没有指明具体步骤，自己Build好了之后把步骤记录一下。 首先，到Spark的官网上下载Spark的压缩包，然后解压缩到本地文件夹。我下的是Spark 1.1.0，目前最新的release，链接spark-1.1.0.tgz。 按照文档上运行bin/spark-shell，会提示找不到所
Spark源码阅读环境搭建build
weixin_45162906的博客
01-15 536
build spark源码 spark源码阅读
Compile Spark and Build Spark Package
Selmalq的博客
11-22 498
Spark
Spark 搭建
07-02
Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑， 由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码 只有63个Scala文件...
大数据spark搭建，spark安装包
03-25
Spark是Apache软件基金会下的一个开源项目，专门设计用于处理大规模数据计算。它的核心特性在于提供了快速、通用以及可扩展的数据处理框架，适用于批处理、交互式查询、流处理和机器学习等多种任务。Spark的主要优势...
Hadoop与Spark搭建与应用程序开发
a152634897951的博客
05-25 852
参考：http://dblab.xmu.edu.cn/blog/2441-2/ http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ http://dblab.xmu.edu.cn/blog/1187-2/ ** Hadoop与Spark搭建与应用程序开发 ** 1.安装ssh 保证虚拟机可以连接外网。 安装成功后，ssh登录本机。 2.安装Java 在/usr/lib目录下新建jvm文件夹，把安装包放到/usr/lib/jvm下，然后解压。 JD
spark项目打包build—— scala项目打包
小白
09-11 798
<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <vers
Spark编译
BENULL的博客
04-18 1551
前提 在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spark2.2.0参见Spark编译官方文档 环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Ma...
Spark 2.0.0正式版编译及问题分析
大数据挖掘SparkExpert的博客
08-31 1496
从上次编译了技术预览版2.0.1之后，官网终于放出了正式版本的2.0.0版本。 Spark Release 2.0.0（见http://spark.apache.org/releases/spark-release-2-0-0.html） Apache Spark 2.0.0 is the first release on the 2.x line. The major
Spark安装及部署
seo232323的博客
10-11 875
​ 说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。hadoop102的**/opt/module/hadoop/etc/hadoop/capacity-scheduler.xml**​ 说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。修改 hive-env.sh，将 Hive 堆内存改为 2048M，如下。添加如下内容（在执行任务时，会根据如下参数执行）。
spark-env.sh配置
窦永厚
03-11 3955
vim /conf/spark-env.sh #!/usr/bin/env bash export JAVA_HOME=/opt/module/jdk1.8.0_221 export SCALA_HOME=/opt/module/scala-2.13.5 export HADOOP_HOME=/opt/module/hadoop-3.1.4 export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop export SPARK_MASTER_IP=n
Spark 3.x各模式部署 - Ubuntu
微光点亮星辰
03-31 897
本文关键字：Spark、单机模式、为分布式、全分布式、Ubuntu。Spark是一种计算框架，可以使用简单的编程模型对大型数据集进行快速、通用、分布式处理。
Building Spark（重新构建编译Spark）
主要写大数据集群一线运维和学习工作经验
01-08 1251
Apache Maven 基于 Maven 的构建是 Apache Spark 的参考构建。使用 Maven 构建 Spark 需要 Maven 3.3.9或更新版本和 Java 7+。 注意，从Spark 2.0.0开始，对Java 7的支持就被废弃了，可能在Spark 2.2.0中被删除。 Setting up Maven’s Memory Usage 你需要通过设置 MAVEN_...
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4333
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
Spark源码的编译过程详细解读(各版本)（博主推荐）
奋斗吧_-小青年
05-12 3199
说在前面的话  　　重新试多几次。编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，按ctrl+c，重新运行编译命令。  如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。  Spark源码编译的3大方式　 　　1、Maven编译 　　2、SBT编译  （暂时没） 　　3、打包编译make-dis
spark搭建
最新发布
03-21
<think>好的，我现在需要帮助用户了解如何搭建Apache Spark环境。首先，我应该回忆一下之前用户提供的引用内容，看看有没有相关的步骤。引用1提到了执行spark-shell.cmd来启动本地环境，引用3详细说明了Java接入Spark的环境搭建，包括Hadoop的下载和配置。引用4则涉及在代码中设置Spark配置。 首先，用户需要搭建Spark环境，可能需要从安装Java开始，因为Spark依赖Java。根据引用3，用户需要JDK 1.8，比如corretto-1.8.0_392。接下来是Hadoop的安装，但Spark本身是否必须依赖Hadoop呢？可能只有在需要HDFS支持时才需要，但本地模式可能不需要。不过引用3提到了下载Hadoop 3.3.6，所以可能需要配置Hadoop的环境变量。 然后，下载Spark的预编译版本，解压后设置环境变量，如SPARK_HOME。接着，配置Spark的参数，可以通过spark-defaults.conf或者代码中设置，如引用4中的例子。启动本地环境的话，运行spark-shell.cmd，如引用1所述。 可能还需要配置日志级别，避免过多的日志输出。测试环境是否成功，可以运行spark-shell并执行简单任务，比如计算Pi。此外，如果用户需要集群模式，可能还需要配置workers、master节点等，但用户的问题可能更关注本地环境搭建。 需要分步骤写出来，先安装Java，再安装Spark，配置环境变量，修改配置文件，启动测试。同时要注意不同操作系统下的路径问题，比如用户引用3是在win11下，所以可能需要说明Windows的步骤，但Spark通常是在Linux下运行，所以可能需要提到两种系统？不过用户提供的引用3明确是win11，所以可能以Windows为主，但也要提到Linux的通用步骤。 另外，用户可能遇到的问题，比如环境变量未正确设置，Java版本不兼容，Hadoop的dll文件缺失（在Windows下需要winutils），这些在引用3中提到过。因此，需要提醒用户下载winutils并配置HADOOP_HOME。 总结步骤： 1. 安装JDK 8并配置环境变量。 2. 下载并解压Spark，设置SPARK_HOME。 3. 下载Hadoop的winutils，配置HADOOP_HOME。 4. 修改Spark配置文件（如spark-env.cmd，添加Java路径）。 5. 测试运行spark-shell.cmd。 6. 可选：配置集群模式或IDE集成。 同时，生成相关问题，例如如何验证安装成功，常见问题解决，如何配置集群等。</think>### Apache Spark环境搭建步骤 #### 一、环境准备 1. **安装JDK 8+** Spark依赖Java环境，需先安装JDK 1.8或更高版本。 - 下载地址：[Amazon Corretto JDK 8](https://docs.aws.amazon.com/corretto/latest/corretto-8-ug/downloads-list.html) - 配置环境变量： ```bash JAVA_HOME = C:\jdk1.8.0_392 # 根据实际路径修改 PATH = %JAVA_HOME%\bin;... ``` 2. **下载Hadoop工具（仅Windows必需）** 在Windows系统运行Spark需额外配置Hadoop的`winutils.exe`工具[^3]。 - 下载`hadoop-3.3.6`并解压，配置环境变量： ```bash HADOOP_HOME = C:\hadoop-3.3.6 PATH = %HADOOP_HOME%\bin;... ``` - 将`winutils.exe`复制到`%HADOOP_HOME%\bin`目录（需从第三方仓库获取）。 --- #### 二、安装Apache Spark 1. **下载Spark预编译包** - 官网下载地址：[Apache Spark Download](https://spark.apache.org/downloads.html) 选择与Hadoop版本兼容的包（如`spark-3.5.0-bin-hadoop3.tgz`）。 - 解压到本地目录（如`C:\spark-3.5.0`）。 2. **配置环境变量** ```bash SPARK_HOME = C:\spark-3.5.0 PATH = %SPARK_HOME%\bin;... ``` 3. **修改Spark配置文件** - 进入`%SPARK_HOME%\conf`目录，复制`spark-env.cmd.template`为`spark-env.cmd`。 - 添加Java路径（Windows）： ```bash set JAVA_HOME=C:\jdk1.8.0_392 ``` --- #### 三、验证安装 1. **启动本地模式** 执行以下命令启动Spark Shell[^1]： ```bash %SPARK_HOME%\bin\spark-shell.cmd ``` 成功启动后会显示`SparkSession`信息。 2. **运行测试任务** 输入以下代码计算Pi值： ```scala val pi = spark.sparkContext.parallelize(1 to 100000).map{ _ => val (x, y) = (math.random, math.random) if (x*x + y*y <= 1) 1 else 0 }.reduce(_ + _) println(s"Pi ≈ ${4.0 * pi / 100000}") ``` --- #### 四、集群模式配置（可选） 1. **配置主节点和工作节点** - 在`%SPARK_HOME%\conf\workers`文件中添加工作节点IP。 - 在`spark-env.cmd`中设置`SPARK_MASTER_HOST`为主节点IP。 2. **启动集群** ```bash %SPARK_HOME%\sbin\start-master.cmd # 启动主节点 %SPARK_HOME%\sbin\start-worker.cmd spark://主节点IP:7077 # 启动工作节点 ``` --- #### 五、IDE集成（以IntelliJ IDEA为例） 1. **新建Maven项目** 添加Spark依赖到`pom.xml`： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.5.0</version> </dependency> ``` 2. **编写示例代码** ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]") val sc = new SparkContext(conf) val text = sc.textFile("input.txt") text.flatMap(_.split(" ")).countByValue().foreach(println) sc.stop() } } ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值