spark伪分布式搭建及spark页面8080端口访问出错的问题

最新推荐文章于 2024-10-09 15:12:25 发布
原创 最新推荐文章于 2024-10-09 15:12:25 发布 · 2.3w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#8080访问失败 #spark #分布式 #集群

本文介绍了如何简单地搭建Spark伪分布式环境，包括从官网下载Spark压缩包，解压，配置环境变量，启动master和worker。在搭建过程中遇到8080端口访问失败的问题，通过修改start-master.sh文件将Spark Master WebUI端口改为8001，从而解决了端口冲突，最后成功访问Spark的8001端口并启动了spark-shell进行验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark页面8080端口访问不了（spark部署在阿里云上）
qq_49344979的博客
03-14 5077
问题：在阿里云服务器部署完成Spark服务器后想通过http//xs:8080 (xs是我在阿里云上创建的服务器实例的名称)访问spark8080端口，结果显示访问不到。 1，首先我按照网上建议，查看了自己是否是因为8080端口被占用，如果被占用可以在 /sbin/start-master.sh 配置文件中修改端口号（任意不被占用的端口即可） 但是我的问题不是端口占用引起的 2.因为是阿里云服务器，我又检查了我云服务器的配置，果然发现云服务器没有开发8080端口。于是在安全组配置中添加的8080端口 添
Spark完全分布式搭建
qq_50835159的博客
06-08 2781
Spark完全分布式搭建教程(Standalone:Master+Slave） 分析: 1.配置好IP 2.修改主机名 3.做好IP主机映射 4.关闭防火墙 5.安装Java 6.安装Hadoop(完全分布式) 7.安装scala 8.配置SSH免密登入 9.集群配置 1.配置IP
spark页面8080端口访问打不开
lclchong的博客
07-30 1186
​ Spark端口号和其他应用发生冲突 ​
hadoop2.7及spark伪分布式集群搭建遇到的问题
06-17 1235
1.建议搭建之前先禁用防火墙（遇到过slave的nodemanager会自动关闭，日志说获取不到主机路由问题，通过关闭防火墙即可，我的linux是centos7）：    关闭防火墙：systemctl stop firewalld.service     禁用防火墙：systemctl disable firewalld.service 2.格式化nodename报错：1）.原因是配置文件.ba...
关于访问Spark管理界面hadoop01:8080的相关问题解决
zlashouch的博客
03-07 2622
使用记事本打开C:\Windows\System32\drivers\etc路径下的host文件，查看是否自己的host文件被修改。如果没有下图红框里的内容，根据自己的虚拟机IP地址完成映射就行。当启动Spark集群后，使用jps命令可以看到Hadoop01上启动了Master进程，Hadoop02和Hadoop03上启动了worker进程时，访问Spark管理界面。来查看集群状态时出现报错，显示页面无法访问。
spark master 占用8080，手动指定特定端口
上海菁数信息技术
01-03 4138
vim spark的conf路径/sbin/start-master.sh 原来有如下一行： if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then   SPARK_MASTER_WEBUI_PORT=8080 fi 将8080改为你所希望启动的端口号如8089或者其他 start-master.sh 启动master进程（或者sbin/sta
spark搭建伪分布式环境
Dear__JIA的博客
05-26 614
spark搭建伪分布式环境 1.一台Linux虚拟机 CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 2.spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 (1...
Ubuntu16.04 Spark2.7.7伪分布式从零开始部署
BaideS的博客
08-28 486
因工作上的需要，尝试在一台Ubuntu16.04部署Spark，因为之前没有了解过Spark，故踩坑时部署了Local版和Standalone单机伪分布式版，现记录如下。 因为在部署Spark之前并未明确出Spark是什么，踩了相应的坑，故在此一并说明：Spark的目标是做一个分布式计算框架，因为是分布式所以它需要通讯（故需要安装SSH），有因为只是一个计算框架，所以其分布式数据来源需要由Hadoop的HDFS提供（故需要安装Hadoop），缺少SSH和HDFS，哪怕跑通，也是Local版。 1. Spar
解决zookeeper与spark8080端口冲突问题
qq_40380423的博客
04-22 2482
配置好spark standalone集群模式后，执行脚本命令 sbin/start-all.sh 查看进程 jpsall =============== hadoop100 =============== 31009 Worker 25924 NameNode 38165 Jps 30824 Master 27179 JobHistoryServer 26108 DataNode 28092 QuorumPeerMain 26829 NodeManager =============== hadoop1
spark页面8080端口访问出错的问题
qq_38709565的博客
03-23 6502
我在安装完spark集群后，在主节点上查看spark的UI界面：http://master:8080页面访问不了！！！通过上网上查看。发现8080端口会和其他端口共用，即会产生冲突，其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了！ 因此，我们打开主节点的配置文件：“/usr/local/spark/sbin/start-master.sh”文件： vim...
spark web UI端口 4040,18080， 8080页面访问不了
热门推荐
Heitao5200的博客
03-24 2万+
Localhost：4040页面访问不了 是因为history server没开的问题   Spark history Server产生背景  以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio...
spark master web ui 端口8080被占用解决方法
jast
07-08 1042
Spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：定位到下面部分内容： 修改上面的端口为其它可用端口就行...
Spark常用命令及端口
qq_18629653的博客
10-14 759
Spark 启动Spark sbin/start-all.sh 停止Spark sbin/stop-all.sh 单独启动: sbin/start-master.sh sbin/start-slaves.sh 所有slave sbin/start-slave.sh 单台slave 启动spark-shell /opt/module/spark/bin/spark-shell –master spark://hadoop101:7077 启动spark–shell使用外部hive(如果spark/jars目
java hadoop 超时_【问题】spark运行python写的mapreduce任务，hadoop平台报错，java.net.ConnectException: 连接超时...
weixin_35353904的博客
03-04 480
问题：用spark-submit以yarn-client方式提交任务，在集群的某些节点上的任务出现连接超时的错误，排查过各种情况后，确定在防火墙配置上出现问题。原因：我猜测是python程序启动后，作为Server，hadoop中资源调度是以java程序作为Client端访问，Python启动的Server端需要接受localhost的client访问。当你从一台linux主机向自身发送数据包时,...
spark之wokers问题
David_house的博客
03-28 540
8080端口未出现wokers 如果你已经启动hdfs和yarn，但是8080端口里面的wokers一个都没有出现或者是显示虚拟机拒绝了连接请求： 一般情况下都是因为没有关闭防火墙，没有wokers出现还有一种情况就是你配置了zookeeper但是没有开zookeeper集群 关闭防火墙命令：systemctl stop firewalld.service 查看防火墙状态：systemctl ...
【已解决】伪分布式Hadoop服务已经开启，但是无法访问http://localhost:9870（缺少NameNode进程）\http://localhost:8088
Yaoyao2024的博客
03-30 5224
使用如下方法启动成功hadoop服务进入相应文件夹首先停止启动所有的节点，使用命令行启动stop-all.sh脚本使用jps命令查看当前hadoop运行貌似没问题其实这里就是有问题！！！后续解决方法里面说继续打开，查看web界面显示无法连接到。
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
最新发布
m0_70882914的博客
10-09 1052
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
Python海量数据处理之_Hadoop&Spark
谢彦的技术博客
12-26 5285
本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。
如何搭建Spark伪分布式环境
资源摘要信息:"Spark伪分布式搭建配套包" 1. Apache Spark 简介 Apache Spark 是一个开源的分布式计算系统，提供了快速、通用的计算引擎，特别适合于大规模数据处理。它最初由加州大学伯克利分校的AMP实验室开发，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值