spark 启动

最新推荐文章于 2024-11-19 22:49:10 发布
最新推荐文章于 2024-11-19 22:49:10 发布
阅读量448 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangshuminjava/article/details/79518465
版权




总用量 0

[wangshumin@CentOSNode1 logs]$ kill -9 32377
[wangshumin@CentOSNode1 logs]$ jps
29777 DFSZKFailoverController
29362 NameNode
29075 JournalNode
32547 Jps
31837 ResourceManager
[wangshumin@CentOSNode1 logs]$ start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/logs/spark-wangshumin-org.apache.spark.deploy.master.Master-1-CentOSNode1.out
[wangshumin@CentOSNode1 logs]$ ll
总用量 4
-rw-rw-r--. 1 wangshumin wangshumin 1534 3月  11 17:56 spark-wangshumin-org.apache.spark.deploy.master.Master-1-CentOSNode1.out
[wangshumin@CentOSNode1 logs]$ cat spark-wangshumin-org.apache.spark.deploy.master.Master-1-CentOSNode1.out 
Spark Command: /home/wangshumin/ekl/jdk1.8.0_162/bin/java -cp /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/conf/:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/spark-assembly-1.6.2-hadoop2.6.0.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-core-3.2.10.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-api-jdo-3.2.6.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar:/home/wangshumin/hadoop-2.6.5/etc/hadoop/ -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip CentOSNode1 --port 7077 --webui-port 8080
========================================
18/03/11 17:56:08 INFO master.Master: Registered signal handlers for [TERM, HUP, INT]
18/03/11 17:56:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/03/11 17:56:10 INFO spark.SecurityManager: Changing view acls to: wangshumin
18/03/11 17:56:10 INFO spark.SecurityManager: Changing modify acls to: wangshumin
18/03/11 17:56:10 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(wangshumin); users with modify permissions: Set(wangshumin)
18/03/11 17:56:12 INFO util.Utils: Successfully started service 'sparkMaster' on port 7077.
18/03/11 17:56:12 INFO master.Master: Starting Spark master at spark://CentOSNode1:7077
18/03/11 17:56:12 INFO master.Master: Running Spark version 1.6.2
18/03/11 17:56:12 INFO server.Server: jetty-8.y.z-SNAPSHOT
18/03/11 17:56:12 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:8080
18/03/11 17:56:12 INFO util.Utils: Successfully started service 'MasterUI' on port 8080.
18/03/11 17:56:12 INFO ui.MasterWebUI: Started MasterWebUI at http://192.168.72.141:8080
18/03/11 17:56:12 INFO server.Server: jetty-8.y.z-SNAPSHOT
18/03/11 17:56:12 INFO server.AbstractConnector: Started SelectChannelConnector@CentOSNode1:6066
18/03/11 17:56:12 INFO util.Utils: Successfully started service on port 6066.
18/03/11 17:56:12 INFO rest.StandaloneRestServer: Started REST server for submitting applications on port 6066
18/03/11 17:56:13 INFO master.Master: I have been elected leader! New state: ALIVE
[wangshumin@CentOSNode1 logs]$ 



drwxr-xr-x. 13 wangshumin wangshumin 222 3月  11 09:36 spark-1.6.2-bin-hadoop2.6

[wangshumin@CentOSNode3 spark]$ cd spark-1.6.2-bin-hadoop2.6/
[wangshumin@CentOSNode3 spark-1.6.2-bin-hadoop2.6]$ ll
总用量 1384
drwxr-xr-x. 2 wangshumin wangshumin    4096 3月  11 09:12 bin
-rw-r--r--. 1 wangshumin wangshumin 1343562 3月  11 09:12 CHANGES.txt
drwxr-xr-x. 2 wangshumin wangshumin     264 3月  11 13:15 conf
drwxr-xr-x. 3 wangshumin wangshumin      19 3月  11 09:12 data
drwxr-xr-x. 3 wangshumin wangshumin      79 3月  11 09:12 ec2
drwxr-xr-x. 3 wangshumin wangshumin      17 3月  11 09:12 examples
drwxr-xr-x. 2 wangshumin wangshumin     237 3月  11 09:16 lib
-rw-r--r--. 1 wangshumin wangshumin   17352 3月  11 09:12 LICENSE
drwxr-xr-x. 2 wangshumin wangshumin    4096 3月  11 09:12 licenses
drwxrwxr-x. 2 wangshumin wangshumin    4096 3月  11 12:11 logs
-rw-r--r--. 1 wangshumin wangshumin   23529 3月  11 09:12 NOTICE
drwxr-xr-x. 6 wangshumin wangshumin     119 3月  11 09:12 python
drwxr-xr-x. 3 wangshumin wangshumin      17 3月  11 09:12 R
-rw-r--r--. 1 wangshumin wangshumin    3359 3月  11 09:16 README.md
-rw-r--r--. 1 wangshumin wangshumin     120 3月  11 09:12 RELEASE
drwxr-xr-x. 2 wangshumin wangshumin    4096 3月  11 09:12 sbin
[wangshumin@CentOSNode3 spark-1.6.2-bin-hadoop2.6]$ ./sbin/start-slave.sh   spark://CentOSNode1:7077
starting org.apache.spark.deploy.worker.Worker, logging to /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/logs/spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out
failed to launch org.apache.spark.deploy.worker.Worker:
full log in /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/logs/spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out
[wangshumin@CentOSNode3 spark-1.6.2-bin-hadoop2.6]$ cat  /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/logs/spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out
Spark Command: /home/wangshumin/ekl/jdk1.8.0_162/bin/java -cp /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/conf/:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/spark-assembly-1.6.2-hadoop2.6.0.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-core-3.2.10.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-api-jdo-3.2.6.jar:/home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar:/home/wangshumin/hadoop-2.6.5/etc/hadoop/ -Xms1g -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://CentOSNode1:7077
========================================
[wangshumin@CentOSNode3 spark-1.6.2-bin-hadoop2.6]$ cd   /home/wangshumin/spark/spark-1.6.2-bin-hadoop2.6/logs
[wangshumin@CentOSNode3 logs]$ ll
总用量 24
-rw-rw-r--. 1 wangshumin wangshumin 1225 3月  11 17:58 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out
-rw-rw-r--. 1 wangshumin wangshumin 2435 3月  11 12:11 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out.1
-rw-rw-r--. 1 wangshumin wangshumin 2439 3月  11 11:44 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out.2
-rw-rw-r--. 1 wangshumin wangshumin 2439 3月  11 10:26 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out.3
-rw-rw-r--. 1 wangshumin wangshumin 2439 3月  11 10:19 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out.4
-rw-rw-r--. 1 wangshumin wangshumin 2439 3月  11 09:55 spark-wangshumin-org.apache.spark.deploy.worker.Worker-1-CentOSNode3.out.5
[wangshumin@CentOSNode3 logs]$ 
Spark启动流程
科学的N次方
09-14 998
Spark On Yarn模式启动流程
Spark启动HistoryServer
merrily01的博客
02-02 2473
1.spark-defaults.conf中添加配置，开启eventLog并指定存放路径： spark.eventLog.enabled=true spark.eventLog.compress=true spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/ 2. $SPARK_HOME/sbin下，执行 ./start-history-server.sh 启动history-server： 需要注意的是,start-history-server..
第五：Spark启动！
2301_77834805的博客
03-06 2148
一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
Spark服务启动的一些总结
weixin_33672400的博客
05-07 382
1、我理解常用的Spark部署方式有三种 1）、本地服务，就是所谓的local，在IDE上本地跑程序，用于调试 2）、Standalone，使用自己的master/worker进行服务的调度。  脱离yarn的资源管理 3）、Spark on yarn。 使用yarn来进行资源的调度 2、在spark-env.sh中配置export HADOOP_CONF_DIR= ，这样就可以使用hdf...
Spark 调试
BlueSky
04-19 4955
1概述 针对调试，根据不同的调试对象可以分为两类： 1、应用程序的调试。 2、框架源码的调试。 在IDE中调试时采用的方法也对应有两种： 1、本地调试：可以简单理解为调试与被调试对象之间不需要通过通信的方式执行。 2、远程调试。 通常这两种方式都是可用的，只是在某些情况下，当被调试对象部署在远程机器节点中，而我们的调试工
spark 启动
07-02 271
如果发现worker节点启动的时候，总是报连接不上master:7077端口 因为启动的时候，你通过start-all.sh启动，这时间读取的都是master节点上面的配置文件；你修改worker节点的配置文件是没有效果的 注意配置文件的键值要看之前的template 文件中定义的键值，可能与之前的版本不同 spark-2.4.6版本的SPARK_MASTER_HOST 而没有SPARK_MASTER_IP 如果你配置了SPARK_MASTER_IP ，这时候启动worker节点的...
spark启动过程
04-28
本文详细的描述了spark 的启动过程，帮助你快速了解spark
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
在尝试启动Spark Shell时，你遇到了一个特定的错误，该错误与Spark的内存配置有关。在你的描述中，错误信息明确指出系统内存259522560字节（约245MB）必须至少为471859200字节（约448MB），这意味着Spark在启动时...
虚拟机跳ip或ip发生更改后，Spark启动不成功的解决方法（如何在Spark中的配置文件更新ip号)
m0_74050238的博客
11-19 470
由于个人原因迁移了虚拟机的位置导致虚拟机ip地址发生了改变，因此会遇到当前虚拟机ip地址和配置文件中的ip地址不符的现象出现，因此希望大家要能够熟悉自己配置文件的地址，才能够及时查找配置文件中的问题所在并解决问题！过程中遇到虚拟机ip发生更改后产生的问题，在网上也常识寻找了很多解决的方法，但是都没有找到能够解决我这个问题的方案，记录下来给大家分享一下，以备不时之需！可以看到spark的Worker和Master两个节点都已经正常启动，因此可以证明spark正常启动，该问题得到解决！更改完成后，输入:wq！
spark启动流程1
longlovefilm的博客
12-04 1323
1 standalone模式 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，接下来Driver开始把任务发送给相应的Executor，Executor开始计算任.
【解决】centos6.2 spark cluster问题（持续追加）
Heron——Linux & ARM
04-03 1万+
使用spark遇到的问题总结，及解决办法
spark worker 启动失败 failed to launch org.apache.spark.deploy.worker.Worker
hzdxw的专栏
06-18 1万+
failed to launch org.apache.spark.deploy.worker.Worker
浅谈spark中的standalone内核源码
Mr.Zheng的博客
05-21 260
Spark-standalone模式下内核分析 1.1 Master和Worker启动 在standalone模式下，如果配置了高可用，则必须先启动ZK和HDFS，HDFS里面有历史服务信息！ 使用启动命令 start-all.sh启动 ->执行2个脚本 start-master start-slave 1.2.1启动master 启动master和worker并不冲突，他们为并行执行。 脚本中执行 java –cp org.apache.spark.deploy.master.Master 相应
记一次java -jar的方式启动spark
daxiongwuwuwuw的博客
03-15 2712
因为测试环境没有yarn，也没有现成的spark集群 权衡一下，不用spark-submit，使用java -jar挺轻量，啥都不用部署， 所以我打了一个jar包，丢到服务器上面，问题来了 1.要制定main函数 所以java -jar不能用，改java-cp指定主类 2.报各种 class not found 直接把这个jar包往jre的ext里面一丢，啥都不缺，快得很。 这样一个简陋但是能用的测试轻量环境就可以了。 比起我以前一个人运维yarn，spar，hivek集群那些省了不少时间。 ...
Spark系列之Spark启动与基础使用
luoyepiaoxue2014的博客
11-28 7578
Spark系列之Spark启动与基础使用
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3315
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
Spark下：Java gateway process exited before sending the driver its port number等问题
热门推荐
懒骨头707
08-13 2万+
如题，贴出问题：      raise Exception("Java gateway process exited before sending the driver its port number") Exception: Java gateway process exited before sending the driver its port number 那么大家各种搜索，但是问题不...
Spark启动报错
sgsdsdd的博客
03-26 2009
localhost: full log in /root/install/spark-2.4.5-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop5.out 原因：打开此文件后，发现java.net.BindException: 无法指定被请求的地址: Service ‘sparkWorker’ failed after 16 retries (on a random free port)! 解决方法：v
spark启动
最新发布
03-18
### 如何启动 Spark 或解决 Spark 启动失败的问题 #### 1. 正常启动 Worker 节点的方法 当一个 Worker 节点启动失败时，可以通过对比正常运行的节点来排查问题。具体操作是在正常的 Worker 节点上查看日志文件，分析其启动命令以及参数设置是否正确。例如，在正常工作的节点上可以找到以下启动命令的日志记录： ```bash Spark Command: /opt/java8/bin/java ... ``` 这表明 Java 环境路径可能是一个重要的因素[^1]。 #### 2. 版本兼容性问题 如果在执行 `spark-shell` 或者提交作业时遇到失败，可能是由于版本不匹配引起的。对于某些环境中，默认安装的是 Spark 的旧版或者未指定特定版本的情况下，可能会导致指令无法识别。因此建议确认当前使用的 Spark 是哪个版本并调整相应的命令前缀。比如如果是 Spark2，则应使用如下形式调用工具： ```bash [root@cdh0 ~]# spark2-shell [root@cdh0 wordcount]# spark2-submit --class "SimpleApp" /home/spark/mycode/wordcount/target/scala-2.11/simple-project_2.11-1.0.jar ``` 这样能够有效避免因默认加载错误版本而引发的一系列异常情况[^2]。 #### 3. IP 地址变更后的重新配置 当虚拟机迁移或网络发生变化致使IP地址被修改之后，原有的 Spark 配置将不再适用，从而影响到整个集群的服务状态。此时需要进入 `/conf` 文件夹下编辑对应的环境变量定义脚本（通常命名为 `spark-env.sh`），确保其中涉及主机名的部分与实际相符。另外还需注意检查是否有其他地方硬编码了老的 IP 数据[^3]。 #### 4. 日志目录权限不足或其他基础设施层面障碍 有时即使完成了以上步骤仍然会遭遇诸如找不到目标文件之类的报错消息，像下面这样的例子就反映了这一点： ```plaintext mv: cannot move '/path/to/logfile' to '/another/path': No such file or directory. ``` 这类现象往往源于两方面原因：一是日志存储位置本身存在问题；二是负责处理这些资源的应用程序未能成功初始化。针对前者可通过手动创建缺失的目标文件夹结构加以修复；至于后者则需仔细核查 Slave 列表(`slaves`)里所列成员名称及其关联关系是否准确无误[^4]。 最后附带一段简单的 Python 测试代码用于验证基本功能连通状况： ```python from pyspark import SparkContext, SparkConf if __name__ == "__main__": conf = SparkConf().setAppName("TestConnection").setMaster("local[*]") sc = SparkContext(conf=conf) data = range(1, 6) rdd = sc.parallelize(data).map(lambda x:x*x) result = rdd.collect() print(result) sc.stop() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值