Hadoop集群运行Spark应用程序

最新推荐文章于 2024-07-13 09:47:47 发布
最新推荐文章于 2024-07-13 09:47:47 发布
阅读量705 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： # Hadoop 文章标签： linux hadoop Spark
本文为博主原创文章，未经博主允许，不得转载！！
本文链接：https://blog.youkuaiyun.com/qq_52128187/article/details/131658408
文章详细介绍了如何在Linux环境下启动Spark集群，包括先启动Hadoop，然后运行Spark的样例程序SparkPi。接着，展示了如何在独立集群中使用spark-shell，创建并上传测试文件到Hadoop文件系统，以及执行读取和统计文件操作。最后提到了通过Web界面监控Spark应用的运行状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

启动Spark集群

先启动hadoop,再启动Spark,具体参考链接

对Linux系统对Spark开发环境配置_Matrix70的博客-优快云博客

运行Spark安装好以后自带的样例程序SparkPi

spark-submit --class org.apache.spark.examples.SparkPi 
--master spark://master:7077 examples/jars/spark-examples_2.12-3.2.0.jar 
100 2>&1 | grep "Pi is roughly"

运行结果：

在独立集群中运行spark-shell

创建测试文件testspark

#在/opt下新建一个文件testspark,滚键盘
vi testspark
#上传此文件至hadoop文件系统根目录
hadoop fs -put /opt/testspark /
#查看文件
hadoop fs -ls /

启动spark-shell

#进入bin
cd /usr/local/spark/bin/
#bin目录下启动spark-shell
spark-shell --master spark://master:7077

 输入代码进行测试

#读文件
val textFile = sc.textFile("hdfs://master:9000/README.md")
#统计一下
textFile.count()
#查看
textFile.first()

独立集群管理Web界面查看应用的运行情况

浏览器进入下述链接

http://192.168.20.128:8080/


 

大数据经典技术解析：Hadoop+Spark大数据分析原理与实践
AI天才研究院
08-04 1458
大数据时代已经来临。随着互联网、移动互联网、物联网等新兴技术的出现，海量数据开始涌现。而在这些海量数据的基础上进行有效的处理，成为迫切需要解决的问题之一。Apache Hadoop和Apache Spark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点，大大提升了大数据应用的效率和效果。
使用Docker搭建Hadoop集群和Spark集群
anron的专栏
08-17 1477
# 行命令退出安全模式 docker exec -it namenode hadoop dfsadmin -safemode leave # create the input directory on HDFS hadoop fs -mkdir -p input # create directory and files insdie namenode mkdir input echo "Hello World" >input/f1.txt echo "Hello Docker" >input
Hadoop与Spark整合
czliuming的博客
05-24 3855
搭建Hadoop集群 搭建Hadoop集群请参考博文《Hadoop集群搭建及wordcount测试》，在此不再赘述。 安装Scala 在scala官网下载合适的版本，将scala安装包拷贝到linux安装目录，执行解压缩命令进行安装： sudo tar -zxvf scala-2.11.7.tgz -C /usr/opt/spark解压缩完成后，进入etc目录，修改profile，追加以下内容e
Hadoop + Spark 部署
m0_55641196的博客
10-19 1868
保证 jdk、hadoop、spark 三个文件夹 在 usr/ 目录下（/home/usr/jdk）自己找要安装的hadoop版本，下载 .tar.gz文件，同上，解压缩、改名，放在 usr 目录下。把 github 上的 setenv.sh 和 submit.sh 放在usr 目录下。submit.sh 提交代码文件到spark。普通用户，直接在官网上下载包上传到服务器。不用管网上教程改 ./bashrc 文件。修改文件的配置信息。
基于Hadoop安装spark集群
小刘的博客
04-01 2842
基于Hadoop的spark环境搭建 已有环境情况 Hadoop HA Java 软件版本 Hadoop 2.7.2 Java 1.8.0_301 Scala 2.11.8 Spark 2.1.0 下载地址 Scala下载地址：Index of /dist/spark Spark下载地址：Index of /dist/spark 安装 下载好的安装包，进行解压 解压命令如下：tar -zxvf 压缩包 -C 解压所至的目录 tar -zxvf scala-2.11.8.tgz.
Spark和Hadoop环境启动
m0_67146599的博客
06-27 552
3.再开一个终端（ssh hadoop103 连接103 ，start-yarn.sh）4.再开一个终端（ssh hadoop104 连接104 ，start-yarn.sh）5.start-all.sh (若不行，.sbin/start-all.sh )1.打开虚拟机（三台全部打开），打开终端。7.再开一个终端,输入 jps。1.打开三台虚拟机，打开终端。5.jps(在三个终端都写)
本地Spark程序提交到hadoop集群运行流程
tf_dev的博客
08-15 2958
1.本地环境准备 本文是将eclipse开发环境下的maven+Spark+scala程序移植到集群环境上执行过程，写的很粗糙，见谅。 本地用eclipse编写Spark小程序，完成从txt文件读取数据操作。 本地maven+Spark+scala环境就不多说了，如果配置出问题，就下载最新的eclipse然后从商店装插件吧。 注意在maven的配置文件pom.xml中插入Spark引用：
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
本文将详细阐述如何搭建Hadoop集群以及进行MapReduce程序的关键点个性化开发。 首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin...
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2841
Spaek基础搭建；基于Hadoop集群.
搭建hadoop+spark完全分布式集群环境
weixin_46305053的博客
07-13 1668
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/apps #解压到apps下。进入/home/hadoop/apps/hadoop-2.7.6/etc/Hadoop。sudo vi /etc/profile #修改配置文件。start-slaves.sh //启动从节点。start-master.sh //启动主节点。拷贝到slave1和slave2中。拷贝到slaves1,slaves中。//将其拷贝到其他机子上。
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境
qq_56022768的博客
05-28 4688
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境
hadoop，spark如何集成Mino
Meta.Qing的博客
03-27 2307
MinIO是一个S3兼容的对象存储系统，可以与Hadoop和Spark等大数据框架进行集成，实现数据存储和分析。
启动spark与hadoop的三个节点的命令
m0_48275578的博客
04-26 1277
docker run -v E:\COURSE\spark:/home -it --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:8080 -p 50070:50070 -p 9001:9001 -p 8030:8030 -p 8031:8031 -p 8032:8032 -p 8042:8042 -p 19888:19888 pyspark_hadoop_centos /b
Hadoop 、Zookeeper、Spark笔记
weixin_45067618的博客
10-14 1167
自己随手记的
spark启动，启动hadoop关闭步骤
qq_45371603的博客
02-29 969
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManag...
hadoop和spark分布式集群搭建及运用
qq_22583741的博客
01-31 3638
hadoop和spark分布式集群搭建及简单运用 hadoop和spark分布式集群搭建及简单运用 1Hadoop集群部署 1-1Hadoop简介 1-2 环境及软件说明 1-2-1 虚拟机软件 1-2-2 JDK 1-2-3 Xshell 1-2-4 hadoop安装包 1-3 配置基础环境 1-3-1固定IP地址 1-3-2 安装配置JAVA环境 1-3-3 修改Hostnam
spark 与 hadoop的hdfs的连接（亲测有效）
热门推荐
AStar的博客
04-03 2万+
出处：：http://blog.youkuaiyun.com/oopsoom/article/details/24257981， 目前Spark的Run on的Hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0以上的公司还是少数。 大多数公司还是停留在1代hadoop上，所以我就拿spark0.91 +  hadoop0.20.2-cdh3u
Hadoop 之 Spark 配置与使用（五）
weixin_42176639的博客
07-26 2374
Spark 单机部署、集群部署 Java 访问 Spark 测试
Spark计算Pi运行过程详解---Spark学习笔记4
OopsOutOfMemory盛利的博客
03-31 1万+
上回运行了一个计算Pi的例子 那么Spark究竟是怎么执行的呢？ 我们来看一下脚本 #!/bin/sh export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat
Hadoop集群搭建spark
最新发布
03-13
### 安装和配置Spark于Hadoop集群 #### 准备工作 为了使 Spark 能够运行在 Hadoop 集群之上，需先准备好环境。这包括已成功部署并正常工作的 Hadoop 全分布式集群[^1]。 #### 下载与解压Spark安装包 获取适合版本的 Spark 发行版，并将其下载到所有节点上的相同路径下。接着，在每台机器上执行命令来解压缩该文件夹： ```bash tar zxvf spark-*.tgz ``` 此操作会创建一个名为 `spark-*` 的目录结构，其中包含了 Spark 所有必要的组件以及文档说明等资源。 #### 修改配置文件 进入刚刚解压出来的 Spark 文件夹内的 conf 子目录里找到 `spark-env.sh.template` 并复制一份重命名为 `spark-env.sh`. 接下来编辑这个新的 shell script 来设置一些重要的环境变量以便让 Spark 正确识别 YARN 和 HDFS: ```bash cp spark-env.sh.template spark-env.sh vi spark-env.sh ``` 向上述脚本添加如下几项设定（具体参数视实际情况而定）： - 设置 SPARK_HOME 变量指向当前 Spark 安装位置； - 如果使用 Scala 编写应用程序，则还需要指定 SCALA_HOME; - 添加 HADOOP_CONF_DIR 或者 YARN_CONF_DIR 指向 Hadoop/Yarn 的配置文件所在的位置； 这些更改使得 Spark 可以访问到 Hadoop 提供的服务接口从而实现两者之间的交互协作. #### 启动服务 完成以上步骤之后就可以启动 Spark on YARN 了。可以通过提交测试作业的方式验证整个过程是否顺利完成。例如可以尝试运行 Pi 计算例子程序来看看能否得到预期的结果输出： ```bash ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 --driver-memory 512m --executor-memory 512m \ --executor-cores 1 lib/spark-examples*.jar 10 ``` 这段命令将会把 Spark 应用作为客户端模式提交给 YARN 进行调度管理，并分配三个 executor 实例用于实际的数据处理任务当中去.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigData_老李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值