配置和启动Spark | local模式以及standalone模式

Spark本地环境搭建(local模式) 大数据实验教学系统Spark本地环境搭建(local模式)spark有以下几种运行模式,每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境(本地模式)   测试Spark安装是否成功。1、安装和配置Spark环境(本地模式)   2、测试Spark。硬件:x86_64 ubuntu 16.04服务器   软件:JDK1.8,Spark-2.3.2,Hadoop-2.7.3   在本实验环境中,Spark安装包位于以下位置:/data/software/sp 阅读详情

Spark Local模式

直接在 $SPARK_HOME/bin/spark-shell 中运行spark RDD程序,在UI界面http://nodename:4040/中可以看到jobs的执行情况

[elon@spark ~]$ spark-shell --master local
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
18/01/22 18:46:45 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://spark:4040
Spark context available as 'sc' (master = local, app id = local-1516618007091).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.1
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152)
Type in expressions to have them evaluated.
Type :help for more information.

scala> val source = sc.wholeTextFiles("/data")
source: org.apache.spark.rdd.RDD[(String, String)] = /data MapPartitionsRDD[1] at wholeTextFiles at <console>:24

scala> source.collect()
res0: Array[(String, String)] =
Array((hdfs://spark:9000/data/data1.txt,"Hello,I'm fine!
How old are you?
What's your name?
I'm a student and come from China.
GoodBye~
"), (hdfs://spark:9000/data/data2.txt,"192.168.1.101
192.168.1.202
Apache.org
Hadoop
Spark
"), (hdfs://spark:9000/data/data3.txt,"GoodBye My dear!
Nice to meet you next time
"))

这里写图片描述

Spark standalone模式

配置SPARK_MASTER_IP环境变量

首先在$SPARK_HOME/conf/spark-env.sh中设置spark环境变量export SPARK_MASTER_IP=ipAddress,指定Master运行的主机IP地址,如果是在集群中执行时,有多个节点组件连接到Master时,具体配置看starting-a-cluster-manually

手动启动群集

你可以通过执行以下命令开启Master:

./$SPARK_HOME/sbin/start-master.sh

随之MasterUI界面也就启动了,具体 http://hadoop:8080/,在该页面可以查看到master-spark-URL

相应的,如果将其他从节点组件连接到Master时,可以在从节点主机上键入以下命令:

./$SPARK_HOME/sbin/start-slave.sh <master-spark-URL>

将应用程序连接到群集

因此,对集群运行交互式Spark shell时,通过以下命令行:

./$SPARK_HOME/bin/spark-shell --master spark://IP:PORT

此时可以查看Spark shell application UI http://hadoop:4041

● 详细配置,请移步到官方文档 spark-standalone

转载请注明出处:http://blog.youkuaiyun.com/coder__cs/article/details/79118590
本文出自【elon33的博客】

十一、安装并配置Spark 解压Spark组件 tar -zxvf ./home/master/spark-2.0.0-bin-hadoop2.6.tgz -C ./home/master (先进入到根目录中:cd /) 2.配置环境变量 vim /etc/profile export SPARK_HOME=/home/master/spark-2.0.0 export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:... 阅读详情

相关推荐

(超详细) Spark环境搭建(Local模式、 StandAlone模式、Spark On Yarn模式)

Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充:spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安

JunLeon的博客 4万+

spark模式

spark运行模式 local,standalone,yarn,mesos,k8s。 local模式设置master local:所有计算都在一个线程,没有并行计算。 local【k】:指定用几个线程计算。 local[*]:以cpu最多core设置线程数量。 local模式简单,解压jar包,直接复制demo即可。 参数解释: -–executor-memory 10G 每个worker/executor都会分配10G --master local【3】 ...

猪布凡的博客 303

Spark环境搭建(多种模式)

个人博客原文链接 Spark环境的搭建相比于Hadoop集群的搭建还是比较简单的,而且跟Hadoop集群的搭建流程也很相似,只是没有Hadoop集群那么多的配置文件要修改。本文中,我将详细介绍Spark的本地模式、Standalone模式(伪分布)、Standalone模式(全分布)、Yarn集群模式的搭建。 搭建环境:CentOS7+jdk8+spark2.3.2+hadoop2.7 Local...

若闲小阁 1197

spark local模式设置内存,以防跑着跑着内存爆了导致spark context被杀掉

https://stackoverflow.com/questions/43971022/how-to-tune-memory-for-spark-application-running-in-local-mode 设置大大的spark.driver.memory,而不是spark.executor.memory

leokingszx的博客 2107

Spark基础之--启动local与standalone模式

我们得到编译好的spark压缩包之后,进行解压;随后进入spark文件夹,获取到spark的路径: /home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0 为了后续使用方便,我建议将spark的路径添加到本地配置(~/.bash_profile) export SPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-...

H_hanwen的博客 1518

spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群

 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud),方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中,通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程,里面运行Task任务,Task任务并行运行数目依据分 配CPU Core核数,在Spark应用中,一个Task任务运行,需要1Core CPU。 1)

erainm 1247

spark的常用参数配置(local、yarn)

spark的常用参数配置(local、yarn)

xfysq_的博客 1019

【Qualcomm高通音频】如何封装音频控件?

音频代码涉及面很广,这篇文档介绍如何封装音频控件给HAL层使用。这里以AW87519芯片调试为例进行介绍封装音频控件和使用的方法。在最初接出到高通音频基础功能调试的时候,都是从tinyalsa指令/mixer_paths文件配置开始。因为单独一个音频设备的调试,都对应一条音频链路的打通。比如以下链接上高通平台基础音频输入输出设备调试: 【Qualcomm音频】Speaker 调试记录http...

crow_ch的博客 1955

Spark 集群搭建(多种方式)

可以看到,我们的 Spark on Hive 运行模式已经部署成功啦!

JIE的博客 --- moon_coder 1万+

振动信号相位测量的关键技术解析

本文深入解析了振动信号相位测量的关键技术,强调相位是振动信号的“身份证”,对于动平衡和故障诊断至关重要。文章详细阐述了键相传感器与振动传感器的选型、安装要点,以及时域和频域(FFT)核心算法,并针对现场噪声、转速波动等挑战提供了实战解决方案,帮助工程师实现精准、稳定的相位测量。

vv45678的博客 839

从3dB定向耦合器到双圆极化天线:在HFSS里玩转相位差90°的馈电艺术

本文详细介绍了在HFSS中设计3dB定向耦合器与双圆极化天线的关键技术,重点解析了90°相位差生成原理及馈电网络设计。通过HFSS仿真工具,实现从定向耦合器到完整天线系统的集成,优化阵列天线性能,适用于卫星通信和雷达系统。

weixin_33717117的博客 557

Spark安装部署实战:从Local模式到Standalone集群搭建

在大数据处理领域,分布式计算框架是实现海量数据高效处理的核心技术。其基本原理是将计算任务分解为多个子任务,分配到集群中的多个节点并行执行,从而突破单机性能瓶颈。这种架构带来了显著的技术价值,包括横向扩展能力、高容错性和处理速度的指数级提升,广泛应用于实时流处理、机器学习、交互式查询等场景。以Apache Spark为例,作为当前主流的大数据计算引擎,其部署模式的选择直接影响开发效率和资源利用率。本文聚焦于Spark的Local模式和Standalone伪分布式集群的实战部署,详细解析环境变量配置、运行模式区

weixin_29051811的博客 328

【软件使用】Calibre部分提参的实战技巧与常见问题解析

本文详细解析了Calibre部分提参(Partial PEX)的实战技巧,重点介绍了如何利用HCELL与XCELL文件高效排除已知模块,实现精准的寄生参数提取,从而快速定位后仿真中的时序与信号完整性问题。文章涵盖了从图形界面到命令行的完整操作流程,并提供了常见问题(如时钟失真、模块“消失”)的深度Debug指南与最佳实践,助力芯片设计工程师提升验证效率。

yhn456789的博客 1031

【CentOS】Spark 运行环境(Local、Standalone)

文章目录一、Local 模式1、启动 Local 环境2、测试3、提交应用程序(jar包)二、Standalone 模式1、解压压缩文件2、修改配置文件 Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下 Spark 的运行(主要是 Local 和 Standalone 两种,yarn之后再介绍)。 一、Local 模式 之前在 IDEA 中运行代码的环境我们称之为.

懂得一千零一种,赋予你失败的方法! 1491

企业财务共享服务中心业务蓝图规划方案【附全文阅读】

《企业财务共享服务中心业务蓝图规划方案》为集团企业提供财务共享中心建设全流程指导,涵盖战略定位、组织架构、业务流程、信息系统、运营管理和变革实施六大维度。方案明确共享中心"交易处理+战略支撑"双重职能,设计专业分组架构,筛选标准化高、价值明确的流程(如核算、资金结算等)纳入共享范围,构建业财一体化平台,并配套绩效与风险管控体系。结合项目型企业管理特点,分阶段推进实施,助力企业实现财务集中化与标准化转型。

cdfunlove的博客 997

摩尔线程嵌入式面试题及参考答案(2万字长文)

说一下你对 drm 框架的理解。 DRM(Direct Rendering Manager)是 Linux 系统中用于管理图形显示设备的一个重要框架。 从架构层面来讲,它处于内核空间,主要目的是为用户空间的图形应用程序提供一个统一的接口来访问图形硬件。DRM 包括内核态的驱动模块和用户态的库。内核态的驱动负责和硬件进行交互,比如对显存的管理、硬件寄存器的配置等。用户态的库则方便应用程序利用内核态提供的功能进行图形渲染等操作。 在图形显示的具体流程中,DRM 可以控制显示设备的分辨率、刷

大模型大数据攻城狮的专栏 1229

Spark运行环境及不同部署模式:Local模式和Standalone模式

title: Spark运行环境及不同部署模式:Local模式和Standalone模式 date: 2021-05-07 16:16:02 tags: Spark Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下 Spark 的运行。 Local模式 想啥呢,你之前一直在使用的模式可不是 Local 模式哟。所谓的 Local 模式,就是不需要其他任何节点资源就.

学亮编程手记 1930

1篇1章4节:生成对抗网络GAN和图像生成领域的StyleGAN

AI图像生成技术的革命性突破:从GAN到StyleGAN 近年来,人工智能在图像生成领域取得显著进展,尤其是生成对抗网络(GAN)的发展推动了技术的飞跃。从早期的基础GAN到渐进式GAN(Progressive GAN),再到革命性的StyleGAN,AI生成图像的逼真度已接近人类创作水平。StyleGAN通过引入风格潜向量和自适应实例归一化,实现了对图像风格与内容的精细控制,广泛应用于人脸生成、艺术创作及影视行业。后续的StyleGAN2解决了“斑点”问题,StyleGAN3进一步优化纹理过渡,提升了图像

MD Code 224

Centos7上安装配置Spark

该文章主要是描述单机版Spark的简单安装,版本为 spark-3.1.3-bin-hadoop3.2.tgz 1、Spark 下载、解压、安装 Spark官方网站: Apache Spark™ - Unified Engine for large-scale data analytics Spark下载地址:Index of /dist/spark tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module mv spark-3.1.3-bi

ykqidev的博客 8066

大模型多智能体协作面试题及参考答案

在多智能体系统里,代理定义自身目标或效用函数的过程与系统架构、应用场景紧密相关。从本质上讲,目标是代理行为的导向,而效用函数则是对目标达成程度的量化评估。代理通常依据自身角色、系统全局需求以及与其他代理的交互关系来确立目标。比如在合作型 MAS 中,代理目标可能需要与全局目标对齐,像多个物流机器人协作完成货物配送时,每个机器人的目标会围绕 “高效完成分配任务”“避免路径冲突” 等展开,其效用函数可能涉及任务完成时间、能耗等指标的加权求和。目标定义的方式存在多种类型。

大模型大数据攻城狮的专栏 1025

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Spark应用部署模式实例(Local、Spark on YARN、Spark Standalone模式)

hadoop中YARN的工作节点上的代理,负责容器生命周期管理,并监控资源使用情况(如CPU、内存、磁盘、网络等)。#hadoop中HDFS的数据存储节点,负责存储实际的数据块,并响应来自客户端或 NameNode 的读写请求。#hadoop中HDFS的名称节点(核心组件),管理文件系统的命名空间,并控制客户端对文件的访问。SparkSubmit # pyspark命令启动的进程,实际上就是启动了一个Spark应用程序。#hadoop中YARN的资源经理(主控服务),负责集群资源管理和调度应用的任务。

2501_90817124的博客 440

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Spark应用部署模式实例(Local、Spark on YARN、Spark Standalone模式

hadoop中YARN的工作节点上的代理,负责容器生命周期管理,并监控资源使用情况(如CPU、内存、磁盘、网络等)。#hadoop中HDFS的数据存储节点,负责存储实际的数据块,并响应来自客户端或 NameNode 的读写请求。#hadoop中HDFS的名称节点(核心组件),管理文件系统的命名空间,并控制客户端对文件的访问。SparkSubmit # pyspark命令启动的进程,实际上就是启动了一个Spark应用程序。#hadoop中YARN的资源经理(主控服务),负责集群资源管理和调度应用的任务。

ximuqi的博客 460

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Spark(03)——Spark四种运行部署模式:Local模式、Standalone模式、Yarn模式、Windows模式

目录一、Local模式二、Standalone模式**6、配置历史服务**三、Yarn模式四、Windows模式 Spark作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下Spark的运行 一、Local模式 所谓的Local模式,就是不需要其他任何节点资源就可以在本地执行Spark代码的环境,一般用于教学,调试,演示等,之前在IDEA中运行代码的环境我们称之为开发环境,不太一样。 1、

BigData2018的博客 3030

Spark—local模式环境搭建

Spark——local模式环境搭建 一、Spark运行模式介绍 1、本地模式(loca模式):spark单机运行,一般用户测试和开发使用 2、Standalone模式:构建一个主从结构(Master+Slave)的spark集群,spark运行在集群中。 3、Spark on yarn 模式:Spark客户端直接连接Yarn,不用构建Spark集群 4、Spark on Mesos模...

weixin_30561425的博客 252
上一篇: Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序
下一篇: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...
gamedev˚
博客等级 码龄12年 280粉丝 293原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值