Spark基础学习笔记04：搭建Spark伪分布式环境

已于 2022-05-06 16:05:33 修改
阅读量2.4k 收藏 21
点赞数 3
CC 4.0 BY-SA版权
文章标签： java 伪分布式
于 2022-03-01 21:13:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123216025

文章目录

零、本讲学习目标

  1. 学会搭建Spark伪分布式环境
  2. 学会启动Spark Shell进行交互式操作
  3. 学会使用Spark WebUI查看运行状态

Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。

一、搭建伪分布式Hadoop

（一）登录ied虚拟机

  • 利用win7虚拟机上的FinalShell登录ied虚拟机

  • 本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.100】
    在这里插入图片描述

  • 虚拟机ied上已经安装了Spark单机版环境，单机版Spark不需要Hadoop，但是Spark伪分布式环境就需要建立在Hadoop伪分布式环境基础之上。

（二）配置免密登录

1、在ied虚拟机上生成密钥对

  • 执行ssh-keygen命令后，一直敲回车，生成节点的公钥和私钥，生成的文件id_rsa会自动放在/root/.ssh目录下，然后我们可以把公钥发往远程机器或本机。
    在这里插入图片描述

2、将生成的公钥发送到本机

  • 执行命令：ssh-copy-id root@ied
    在这里插入图片描述

3、验证虚拟机是否能免密登录本机

  • 执行命令：ssh ied，再执行命令：exit
    在这里插入图片描述

（三）下载与Spark版本匹配的Hadoop安装包

（四）上传Hadoop安装包

  • 将Hadoop安装包上传到虚拟机ied的/opt目录
    在这里插入图片描述
    在这里插入图片描述

（五）将Hadoop安装包解压到指定目录

  • 执行命令：tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local
    在这里插入图片描述

（六）查看Hadoop目录

1、查看Hadoop安装目录

  • 执行命令：cd /usr/local/hadoop-2.7.7 与 ll
    在这里插入图片描述

  • bin目录：命令脚本

  • etc/hadoop目录：存放hadoop的配置文件

  • lib目录：hadoop运行的依赖jar包

  • sbin目录：存放启动和关闭hadoop等命令

  • libexec目录：存放的也是hadoop命令，但一般不常用

  • 最常用的就是bin和etc目录

2、查看Hadoop配置目录

  • 勾出了Hadoop比较重要的配置文件
    在这里插入图片描述

3、查看sbin子目录

  • 勾出了启动与停止dfs和yarn服务的脚本文件
    在这里插入图片描述

（七）配置Hadoop实现伪分布式

1、修改环境配置文件 - hadoop-env.sh

  • 进入hadoop配置目录，执行命令：vim hadoop-env.sh
    在这里插入图片描述
    在这里插入图片描述
export JAVA_HOME=/usr/local/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
  • 存盘退出，然后执行source hadoop-env.sh，让配置立即生效
    在这里插入图片描述

2、修改核心配置文件 - core-site.xml

  • 执行命令：vim core-site.xml
    在这里插入图片描述
<configuration>
    <!--用来指定hdfs的老大，namenode的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ied:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.7/tmp</value>
    </property>
</configuration>

3、修改分布式文件系统配置文件 - hdfs-site .xml

  • 执行命令：vim hdfs-site.xml
    在这里插入图片描述
<configuration>
    <!--指定hdfs保存数据副本数量，默认值是3-->
    <!--如果是伪分布模式，此值是1-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4、修改MapReduce配置文件 - mapred-site.xml

  • 执行命令：cp mapred-site.xml.template mapred-site.xml，基于模板文件生成配置文件
    在这里插入图片描述

  • 执行命令：vim mapred-site.xml
    在这里插入图片描述

<configuration>
     <!--指定mapreduce运行在yarn上-->
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>
  • 说明：yarn是资源协调工具，将MapReduce交给它来管理，效率更高。

5、修改yarn配置文件 - yarn-site.xml

  • 执行命令：vim yarn-site.xml
    在这里插入图片描述
<configuration>
    <!--指定yarn的老大resoucemanager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>ied</value>
    </property>
    <!--NodeManager获取数据的方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

6、配置hadoop的环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  • 存盘退出，执行命令source /etc/profile，让配置生效
    在这里插入图片描述

（八）格式化名称节点

  • 执行命令：hdfs namenode -format，格式化名称节点，形成可用的分布式文件系统HDFS
    在这里插入图片描述
  • 名称节点格式化成功信息
    在这里插入图片描述

（九）启动与关闭hadoop服务

1、启动Hadoop服务

  • 执行命令：start-dfs.sh，启动dfs服务 - 分布式存储
    在这里插入图片描述
  • 执行命令：start-yarn.sh，启动yarn服务 - 分布式计算
    在这里插入图片描述
  • 执行命令：jps，查看hadoop进程
    在这里插入图片描述

2、停止hadoop服务

  • 执行命令：stop-dfs.sh，停止dfs服务
    在这里插入图片描述
  • 执行命令：stop-yarn.sh，停止yarn服务
    在这里插入图片描述

二、搭建伪分布式Spark

  • 我们已经在单机版Spark基础上搭建了伪分布式Hadoop，下面通过Spark环境配置文件实现伪分布式Spark

（一）进入spark配置目录

  • 执行命令：cd $SPARK_HOME/conf
    在这里插入图片描述

（二）修改环境配置文件 - spark-env.sh

  • 基于环境配置文件模板生成环境配置文件
  • 执行命令：cp spark-env.sh.template spark-env.sh
    在这里插入图片描述
  • 执行命令：vim spark-env.sh
    在这里插入图片描述
  • 存盘退出，执行命令：source spark-env.sh，让环境配置生效
    在这里插入图片描述

（三）配置slaves文件

  • 执行命令：vim slaves（伪分布式，ied既是主节点，也是从节点）
    在这里插入图片描述

三、启动伪分布式Spark

（一）启动hadoop服务

  • 执行命令：start-dfs.sh
    在这里插入图片描述
  • 执行命令：start-yarn.sh
    在这里插入图片描述

（二）启动spark服务

  • 执行命令：start-master.sh，启动spark老大 - Master
    在这里插入图片描述

  • 执行命令：start-slaves.sh，启动spark小弟 - Worker
    在这里插入图片描述

  • 查看进程
    在这里插入图片描述

  • 执行命令：vim $SPARK_HOME/sbin/spark-config.sh，添加JAVA_HOME环境变量
    在这里插入图片描述

  • 存盘退出，执行命令：source $SPARK_HOME/sbin/spark-config.sh，让配置生效
    在这里插入图片描述

  • 此时，再执行命令：start-slaves.sh，启动spark小弟 - Worker
    在这里插入图片描述

四、交互式Spark Shell

  • 将/home/test.txt上传到HDFS的/input目录
    在这里插入图片描述

（一）scala版spark shell

  • 执行命令：spark-shell --master spark://ied:7077
    在这里插入图片描述

  • 演示词频统计
    在这里插入图片描述

  • 在scala>提示符后面执行:quit，退出scala版spark shell
    在这里插入图片描述

（二）python版spark shell

  • 执行命令：pyspark --master=local
    在这里插入图片描述

  • 演示词频统计
    在这里插入图片描述

  • 在>>>提示符后执行exit()函数退出python版spark shell
    在这里插入图片描述

五、访问Spark WebUI

（一）启动scala版spark shell

  • 执行命令：spark-shell --master spark://ied:7077
    在这里插入图片描述

（二）访问Spark WebUI

  • 访问http://ied:4040 - 注意端口号是4040
    在这里插入图片描述

1、关闭与禁用虚拟机ied的防火墙

  • 执行命令：systemctl stop firewalld
    在这里插入图片描述
  • 执行命令：systemctl disable firewalld
    在这里插入图片描述
  • 执行命令：systemctl status firewalld，查看防火墙状态
    在这里插入图片描述
  • 关闭宿主机win7防火墙
    在这里插入图片描述

2、配置宿主机win7的hosts文件

  • 在C:\Windows\System32\drivers\etc\hosts文件里添加一句IP与主机名映射：192.168.1.110 ied
    在这里插入图片描述

3、访问Spark WebUI

  • 访问http://ied:4040
    在这里插入图片描述
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 745
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
spark搭建伪分布式环境
weixin_43861175的博客
05-20 564
软件准备 • 一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 • spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 (1) 把安装包...
搭建 Spark 伪分布式集群
最新发布
2401_87153568的博客
05-07 1567
首先，确保 Hadoop 的配置文件（如 core-site.xml, hdfs-site.xml, yarn-site.xml）已经正确配置。其中 <spark-master-url> 是你的 Spark Master 节点的 URL，例如 spark://vm01:7077。接下来，我们需要修改 /etc/hosts 文件，在这个文件中设置 IP 地址与主机名的对应关系，类似 DNS 域名服务器的功能。在浏览器中输入 http://vm01:8080/ 查看结果。
搭建Spark伪分布式
weixin_66087662的博客
03-29 1246
基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage又依赖于底层文件系统（如HDFS）来存储每一个Stage的输出结果。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。
搭建Spark伪分布式环境
snow703323的博客
06-16 781
测试能否ping通百度 - 测试能否ping通百度 - 测试能否ping通百度 - 查看主机映射配置文件 查看主机映射配置文件 查看主机映射配置文件 五）关闭与禁用防火墙 1、了解相关命令 （1）关闭防火墙命令 systemctl stop firewalld （2）禁用防火墙命令 systemctl disable firewalld （3）查看防火墙状态 systemctl status firewalld 2、关闭与禁用防火墙 （1）关闭与禁用master虚拟机防火墙 关闭防火墙
spark伪分布式的搭建
一个程序媛的成长记录❤
05-30 297
https://www.jianshu.com/p/9622f684144d 感谢这篇博客，结合里面的步骤，我部署成功了。 在这里我犯的错主要是没弄懂“主机名”是什么 所以在修改spark-env.sh等配置文件时，主机名要写自己的现在正在运行的虚拟机的主机名，一定不要照搬照抄！ ...
Spark基础学习笔记07：搭建Spark伪分布式环境
qq_56244269的博客
06-10 798
执行命令后，一直敲回车，生成节点的公钥和私钥，生成的文件会自动放在目录下，然后我们可以把公钥发往远程机器或本执行命令：执行命令：，再执行命令：下载链接：百度网盘 请输入提取码 提取码：f1lw将Hadoop安装包上传到虚拟机ied的目录 执行命令：执行命令： 与 进入hadoop配置目录，执行命令： export JAVA_HOME=/usr/local/jdk1.8.0_231 export HADOOP_HOME=/usr/local/hadoop-2.7.7 export HADOOP_CONF_DI
Spark基础学习笔记03：搭建Spark单机版环境
lwmzl00的博客
06-16 346
文章目录 零、本讲学习目标 学会搭建Spark单机版环境 学会Spark应用程序的运行 学会启动Spark Shell 初步了解RDD的概念 一、搭建Spark单机版环境 （一）私有云上创建ied实例 创建端口 - ied_port 二）连接ied虚拟机 演示win7虚拟机通过FinalShell连接ied虚拟机 三）修改ied实例主机名 执行命令：hostnamectl set-hostname ied 重启虚拟机 再次连接ied虚拟机 四）设置IP地址与主机名映射 执行命令：yum -y instal
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1237
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
Spark学习之路 （五）Spark伪分布式安装
weixin_34268310的博客
04-22 217
一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/ 1.2　配置环境变量 [root@hadoop1 soft]# vi /etc/profile #JAVA export JAVA_HOME=/usr...
搭建Spark伪分布式模式
LawrenceUyi31的博客
11-18 1388
搭建Spark伪分布式模式...
spark 伪分布式安装
lyc0424的博客
04-12 1502
环境：Ubuntu16.04 在伪分布式安装spark之前，首先需要伪分布式安装配置Hadoop,这个就不做详细介绍了，可以参看博主的另一篇博客： https://blog.youkuaiyun.com/lyc0424/article/details/101078489 spark下载地址：http://spark.apache.org/downloads.html 注意：安装的spark版本需要与之...
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 2465
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
Spark本地安装及Linux下伪分布式搭建
weixin_30315435的博客
12-01 248
title: Spark本地安装及Linux下伪分布式搭建 date: 2018-12-01 12:34:35 tags: Spark categories: 大数据 toc: true 个人github博客：Josonlee’s Blog 文章目录 前期准备 本地安装 基于hadoop伪分布式搭建 启动spark 安装过程可能遇到的问题 ...
【大数据工具】Spark 伪分布式、分布式集群搭建
程序员五哥
06-07 835
安装前提：安装 Spark 前需要先安装好 JDK。
Spark之伪分布式安装
04-19 316
一、伪分布环境 前提：Linux环境，JDK版本1.8版本 Spark：版本2.2.1 Hadoop：版本2.6.1 下载地址：Spark下载地址                   Spark下载地址2 二、解压 tar -zxvf spark-2.2.1-bin-hadoop2.6.tgz mv spar...
Spark伪分布式搭建
cyssxt的博客
07-05 885
Spark分布式搭建 利用spark（2.1.1）和hadoop（2.8.0）最新版 一、下载spark Spark地址：版本 https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 二、下载scala 此处scala版本要注意scala版本，spark有版本限制 这边可以看到用了scala2.11的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值