spark启动顺序-笔记

最新推荐文章于 2025-02-11 14:07:42 发布
原创 最新推荐文章于 2025-02-11 14:07:42 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何部署Hadoop的数据管理系统并通过验证其运行状态，同时详细阐述Spark系统的启动过程，包括配置spark-defaults.conf文件以启用历史记录服务器并设置相关参数。

1：hadoop的sbin下的dsf数据管理系统//验证http://192.168.190.134:50070/（主hadoop系统）


2：spark的sbin下的start-all.sh启动系统


       start-history-server.sh历史记录

（之前要在spark-defaults.conf配置

spark.executor.extraJavaOptions    -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://master:9000/historyserverforSpark
spark.yarn.historyServer.address   master:18080
spark.history.fs.logDirectory      hdfs://master:9090/historyserverforSpark）


3：spark的bin下的spark-shell  

然后jps验证一下


xlj3
关注
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6791
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
spark启动流程1
longlovefilm的博客
12-04 1342
1 standalone模式 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，接下来Driver开始把任务发送给相应的Executor，Executor开始计算任.
第五：Spark启动！
2301_77834805的博客
03-06 2175
一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
spark启动流程
weixin_42610333的博客
12-08 963
spark概览 ​ Spark应用程序在群集上作为独立的进程集运行,可以部署在不同环境的集群上，包括(yarn,mesos,standalone,etc…). 由driver中的SparkContext对象协调,这涉及到大概以下环节 用户client端提交应用程序，根据不同环境启动不同的client端。 sparkContext初始化 执行用户程序(job提交，RDD划分statge，生成task) 资源申请 executor注册 makeoffer executor执行 yarn-cluste
spark启动过程
04-28
本文详细的描述了spark 的启动过程，帮助你快速了解spark
spark的启动使用
Stay Hungry Stay Foolish
04-07 946
localhost:8080 查看spark集群状态 localshot:4040 查看job状态 要用hdfs上的数据，输入目录前要有地址名，如 开启集群之后（不是spark目录下的./sbin/start-all.sh，而是开启spark-shell集群模式），使用jps查询进程会发现多出两个进程 SparkSubmit用于提交我们的JOB，而CoarseGrainedExecutorBac...
Spark学习笔记--Spark基础知识
夜晓楼的博客
09-08 4322
1、RDD表示分布在多个计算节点上的可以并行操作的元素集合，是spark主要的变成抽象。 Spark Streaming 是 Spark 提供的对实时数据进行流式计算的组件 Spark是一个用于集群计算的通用计算框架，因此被应用于各种各样的应用程序 2、从上层来看，每个saprk应用都有一个驱动器程序（driver programmer）来发起集群上的各种并行操作。 驱动器程序通过
Spark大数据处理讲课笔记4.8 Spark SQL典型案例
howard2005的专栏
05-15 1080
1. 使用Spark SQL实现词频统计； 2. 使用Spark SQL计算总分与平均分； 3. 使用Spark SQL实现分组排行榜； 4. 使用Spark SQL统计每日新增用户
kafka了解-笔记
最新发布
weixin_44846205的博客
02-11 1052
MQ的作用MQ：MessageQueue，消息队列，是一种FIFO先进先出的数据结构，消息则是跨进程传递的数据。一个典型的MQ系统，会将消息由消息的生产者发送到MQ进行排队，然后根据一定的顺序交由消息的消费者进行处理。MQ的作用主要有下面3个方面：异步：异步能够提高系统的响应速度、吞吐量解耦：1.服务之间进行解耦，才可以减少服务之间的影响，提高系统整体的稳定性及可扩展性。2.另外解耦后可以实现数据分发。
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
Spark-环境启动
lu070828的博客
08-16 1634
从start-all.sh开始捋，一直捋到Master、Worker的启动并建立通信。
spark启动
业余程序员的成长轨迹
07-11 835
1、启动spark环境 （1）作为主机（master）启动： sh start_master.sh(在sbin目录下) （2）作为从机（slave）: sh  start_slave.sh   主机名(spark://SY-0309:7077) 2、启动Scala开发环境 在spark安装目录的bin目录下，用spark-shell命令启动
Spark系列之Spark启动与基础使用
luoyepiaoxue2014的博客
11-28 7626
Spark系列之Spark启动与基础使用
Spark 安装与启动
SmartSi
07-20 6302
如果你事先安装了Spark对应版本的Hadoop，那么可以选择forHadoopx.x类型，如果你安装的Hadoop版本没有对应的Spark，可以选择Pre-builtwithuser-providedApacheHadoop类型。选择Spark版本和Package类型之后，自动会为你生成spark-3.1.3-bin-hadoop2.7.tgz包地址，直接点击下载即可。Spark版本选择的不同，提供的Package类型也会不一样。...
Spark的配置和启动
Deng872347348的博客
03-24 2759
Spark的配置和启动 文章目录Spark的配置和启动准备工作：下面我们配置环境变量：出现如下进程成功启动集群： 准备工作： 安装Spark集群前，需要安装Hadoop环境，我们采用如下配置环境。 •Linux系统：CentOS_7的任意版本 ，因为6.几的版本现在停止维护了 •Hadoop：2.7.4版本 •JDK：1.8版本 •Spark：2.3.2版本 第一步，官网下载spark: 还要有三天虚拟机：VMware Workstation CentOS7.x 192,168.245.221 node (
启动spark
2301_80318750的博客
09-12 419
5.编辑spark-defaults.conf 和 spark-env.sh。驱动器会创建对应的编程入口（SparkContext/SparkSession）主节点：master---资源管理调度和任务的分配（类似yarn）从节点执行计算任务（多个计算任务：每个计算任务会分配一个执行器）从节点会将任务的结果返回到主节点，主节点再继续做相应的操作。7.在UI界面里面添加目录spark-logs。从节点：worker---执行具体的计算任务。4.启动后各节点的正常情况。9.spark的运行架构。
spark集群启动流程
无知是恶
11-13 1187
今天来说一下spark集群的启动流程： 1.通过调用start-all.sh来启动Master和Worker，首先启动的是Mastor 2.Master服务启动后，在PreStart方法中会启动一个定时器定时检查超时的Worker 3.执行receive方法，不断地接受其他Actor发送过来的请求 4.在调用start-all.sh脚本的同时，会解析slaves配置文件，获取到用于启动Worker...
spark启动spark-shell报错
04-29
当启动Spark Shell时，可能会遇到各种错误。以下是一些常见的错误和解决方法： 1. 错误：`java.lang.OutOfMemoryError: Java heap space` 解决方法：增加堆内存大小。可以通过设置`spark.driver.memory`和`spark.executor.memory`来增加内存大小。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --driver-memory 4g --executor-memory 4g ``` 2. 错误：`java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveContext` 解决方法：这个错误通常是由于缺少Hive相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hive依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.spark:spark-hive_2.12:3.1.2 ``` 3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`spark-defaults.conf`文件中的配置项是否正确，并确保Spark的配置文件没有任何语法错误。 4. 错误：`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 解决方法：这个错误通常是由于缺少Hadoop相关的依赖库引起的。请确保在启动Spark Shell时包含了正确的Hadoop依赖。例如，可以使用以下命令启动Spark Shell： ``` spark-shell --packages org.apache.hadoop:hadoop-client:3.2.0 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值