Spark使用Yarn模式解决Jar乱飞情况

最新推荐文章于 2022-07-17 10:18:58 发布
原创 最新推荐文章于 2022-07-17 10:18:58 发布 · 341 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在本地创建Spark的zip文件，并将其上传至HDFS，最后在Spark配置文件中指定档案位置，完成YARN上的Spark应用部署。通过本教程，读者可以学会Spark在YARN集群中的正确部署流程。

1、在本地创建zip文件

# 在spark的jars目录下
zip spark.zip ./*

2、HDFS上创建存放spark jar目录

hdfs dfs -mkdir -p /spark-yarn/jars

3、将$SPARK_HOME/jars下的spark.zip包上传至刚健的HDFS路径

[hadoop@hadoop jars]$ hdfs dfs -put ./spark.zip /spark-yarn/jars/

4、在spark-defaults.conf中添加(也可以在启动时候 -conf 指定)

spark.yarn.archive  hdfs://ruozedata001:9000/spark-jars/spark.zip

5、查看Spark log

yarn log -applicationID xxx
【Yarn】Yarn 架构体系、通讯协议、yarn交互流程
九师兄
01-23 723
yarn 有3大组件，想明白组件相关的功能，YARN集群中的主角色,决定系统中所有应用程序之间资源分配的最终权限,即最终仲裁者。接收用户的作业提交,并通过NM分配、管理各个机器上的计算资源。YARN中的从角色，一台机器上一一个,负责管理本机器上的计算资源。根据RM命令,启动Container容器、监视容器的资源使用情况。并且向RM主角色汇报资源使用情况。Client用户提交的每个应用程序均包含一个AM。Clent应用程序内的“老大”, 负责程序内部各阶段的资源申请,监督程序的执行情况。要记住一句话。
大数据简单面试题
Denovo的博客
05-27 8401
面试题 1、HashMap 和 Hashtable 区别 HashMap和Hashtable的存储和遍历都是无序的！ 继承的类不同：HashMap继承的是AbstractMap类；Hashtable 继承Dictionary类。但是都实现了Map接口。 线程安全问题：hashmap是非线程安全的，底层是一个Entry数组，put进来的数据，会计算其hash值，然后放到对应的bucket上去，当发生hash冲突的时候，hashmap是采用链表的方式来解决的，在对应的数组位置存放链表的头结点，对链表而言，新加
记一次yarn环境中应用程序jar冲突解决办法
xiaoxiaohacker的专栏
12-18 2574
用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的问题。仔细看自己代码，明明有这个jar，那多半就是jar冲突了。 只有当jar的版本不一致时候才会冲突，那么本着治本精神去百度，可以找到如下文章 https://www.jianshu.com/p/...
Spark 程序依赖与spark 库jar包冲突解决方案
sunyang098的博客
07-20 3167
问题描述：使用spark的StructuredStreaming写数据到es，加载的spark集群jars下的jar包版本（httpclient-4.5.4.jar）跟依赖的jar包版本不一致（httpclient-4.5.10.jar），导致任务失败。 我在idea上本地调试，使用httpclient-4.5.10.jar的话，是能正常访问es的。 在yarn上的错误日志： Caused by: java.lang.BootstrapMethodError: call site initiali.
spark on yarn运行产生缺jar包错误及解决办法
mach_learn的专栏
12-09 9961
spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。
Spark on YARN时大量jar乱飞情况
Nice的博客
11-08 624
在使用Spark On Yarn的时候会出现jar包乱飞的现象，并且会给出警告提示下面来分析一下这个问题 目录1.日志现象2.解决方式：3.结果验证 1.日志现象 SparkonYarn的日志信息： WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. INFO yarn.Client: Upload.
spark-yarn 模式 jar包优化
weixin_33691817的博客
05-19 340
在yarn模式下，会上传jar包到yarn来执行spark程序，如果每次都上传，很耗时间，而且如果是阿里云的机器，上传很慢，180m的jar要上传十几分钟，所以要提前上传到hdfs中去。spark支持如下几个参数spark.yarn.jars：只能指定具体jar包，在spark1.6.2（包括）以前，从官网上可以下载一个大的jar包，写上这个jar包即可，但是在2.0过后，就...
解决Spark on YARN时大量jar乱飞的情况
mcdull213的博客
05-03 575
问题重现 运行以下这个作业 spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode client \ /opt/app/spark-2.4.5-bin-2.6.0-cdh5.16.2/examples/jars/spark-examples_2.12-2.4.5.jar ...
【大数据集群部署终极指南】：从零搭建Hadoop+MySQL+Hive+Spark高可用环境（含15大核心步骤）
# 大数据集群架构设计与核心组件深度实践 在当今这个数据爆炸的时代，企业每天都在产生海量信息——从电商交易日志、物联网设备上报的数据流，到社交媒体上的用户行为轨迹。如何高效存储、快速处理并从中挖掘价值？...
复杂分布式架构下的计算治理之路：计算中间件 Linkis
JKX_geek的博客
03-10 939
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 前言 在当前的复杂分布式架构环境下，服务治理已经大行其道。但目光往下一层，从上层 APP、Service，到底层计算引擎这一层面，却还是各个引擎各自为政，Client-Server 模式紧耦合满天飞的情况。如何做好“计算治理”，让复杂环境下各种类型的大量计算任务，都能更简洁、灵活、有序、可控的提交执行，和保障成功返回结果...
commons-dbutils-1.6的jar包
09-05
好用的commons-dbutils-1.6的jar工具包，其中是包含3个：commons-dbutils-1.6.jar、commons-dbutils-1.6-javadoc.jar和commons-dbutils-1.6-sources.jar
Spark on Yarn运行时加载的jar包
upupfeng的博客
08-22 3930
记录下spark on yarn运行时会加载的jar包
​YARN环境中应用程序JAR包冲突问题的分析及解决​
张伟的专栏
07-17 952
​YARN环境中应用程序JAR包冲突问题的分析及解决
spark执行优化--禁止将依赖的Jar包传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
penriver的博客
04-26 2311
使用yarn的方式提交spark应用时，如果没有配置spark.yarn.archive或者spark.yarn.jars时， 输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set后，会将SPARK_HOME/jars下的所有jar打包并上传到HDFS上，内容如下，这个过程会非常耗时。可以通过如下2种方法避免此操作，缩小spark应用的启动时间 spark-defaults.conf配置里添加spark.yarn.archive或s
SparkSQL（2）：Spark应用依赖第三方jar文件解决方案
小蚯蚓的博客
10-30 6364
一、实现功能 spark运行依赖jar包添加方式。 二、方法 1. 本地jar包： （1）方法：使用参数--jars添加本地的第三方jar文件，可以给定多个，使用逗号分隔 bin/spark-shell --jars /opt/modules/hive-1.2.1/lib/mysql-connector-java-5.1.27-bin.jar,/opt/modules/hive-1.2...
spark应用程序依赖冲突解决方式
sujins5288的博客
06-21 1000
当用户应用与Spark本身依赖同一个库时可能会发生依赖冲突，导致程序崩溃。这种情况 不是很常见，但是出现的时候也让人很头疼。通常，依赖冲突表现为Spark作业执行过 程中抛出NoSuchMethodError、ClassNotFoundException，或其他与类加载相关的JVM异 常。对于这种问题，主要有两种解决方式:一是修改你的应用，使其使用的依赖库的版本 与Spark所使...
Jar包冲突问题及解决方案
I want to know a little more.
06-06 4274
Jar包冲突是老生常谈的问题，几乎每一个Java程序猿都不可避免地遇到过，并且也都能想到通常的原因一般是同一个Jar包由于maven传递依赖等原因被引进了多个不同的版本而导致，可采用依赖排除、依赖管理等常规方式来尝试解决该问题，但这些方式真正能彻底解决该冲突问题吗？答案是否定的。笔者之所以将文章题目起为“重新看待”，是因为之前对于Jar包冲突问题的理解仅仅停留在前面所说的那些，直到在工作中遇到的一系列Jar包冲突问题后，才发现并不是那么简单，对该问题有了重新的认识，接下来本文将围绕Jar包冲突的问题本质和相
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
OMars的博客
08-26 4022
1.说明 之前整理过一篇类似文章，但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包，如果放入其他的jar包，很大概率会有冲突，而且如果项目比较多，jar包引入的内容版本不尽相同，也不太利于管理。题主这里有一个spark的分析项目，引入了很多依赖，如果只是配置了spark.yarn.jars,上传jar包的过程仍然很慢，所以还是需要把项目的依赖jar包上传到HDFS,经过查阅资料和翻查官网，发现了application-jar , --jars 都是即可以使用本地也
Spark依赖包冲突解决
02-12 1786
背景：公司选用Apache Beam 用于大数据程序开发; Apache Beam 提供了一系列通用的JAVA API, 通用是指使用Apache Beam开发的程序，可以在不对代码做任何修改的情况下运行在当下流行的计算框架上，如SPARK, FLINK...Beam的程序运行在Spark, 需要依赖Spark,Hadoop 甚至kafka的一些JAR包。如果Beam的程序打成一个fat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值