spark 作业提交与hdfs调用

最新推荐文章于 2024-09-20 16:49:59 发布

汪酱0110

最新推荐文章于 2024-09-20 16:49:59 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

文章标签： spark scala hdfs

本文链接：https://blog.youkuaiyun.com/dantengc/article/details/54312844

本文介绍了Spark在不同部署模式下的使用方法，包括local模式、Standalone集群模式及YARN集群模式的具体配置参数。此外还提供了如何查看HDFS路径的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

local模式2个cpu提交CLASSNAME ( scala class 的名字）

spark-submit --class "CLASSNAME" --master local[2] jar包路径

Standalone

spark-submit --class "cCLASSNAME" --master spark://*.*.*.*:7077 --executor-memory 2G --total-executor-cores 10 jar包路径

yarn

spark-submit --class "CLASSNAME" -master yarn-cluster --executor-memory 2G --num-executors 10 jar包路径

hdfs路径通过SparkMaster:50070查看

如hdfs://SparkMaster:9000/user/hadoop/input/README.md

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

汪酱0110

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

sparkStreaming 写入 hdfs

qq_38250124的博客

08-07

3126

1.saveAsTextFile value.repartition(1).map(_.mkString(",")).foreachRDD(rdd => { rdd.saveAsTextFile("hdfs://localhost:8020/log/" + System.currentTimeMillis()) saveAsTextFile不支持追加。如果使用固定文件名调用，则每次都会覆盖它。我们每次都可以saveAsTextFile(path+timestamp(System.cur

spark java 写入hdfs_解决Spark Streaming写入HDFS的小文件问题

weixin_28853079的博客

02-19

1146

今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果有大量小文件的话，会浪费block，使元数据增加，挤占宝贵的NameNode内存。另外，大文件能够发挥磁盘顺序读写的优势，小文件会产生很多随机读写，性能下降。在我们的数仓体系中，有一部分业务的日志数据来源是RocketMQ。我们...

参与评论您还未登录，请先登录后发表或查看评论

kerberos-04.spark连接kerberos认证的hive

github_39319229的博客

05-08

1173

在服务器下载配置文件放在本地项目resources目录下定义好kerberos认证方法,先进行认证再执行其他代码即可，示例代码如下 import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.hadoop.security.UserGroupInformation object day03 { def main(args: Array[String]): Unit = .

Java代码使用Spark on Yarn 方式提交任务到带Kerberos认证的Hadoop集群

weixin_34068198的博客

10-16

3765

2019独角兽企业重金招聘Python工程师标准>>> ...

hdfs java切换用户,如何在java中使用sparkSubmit更改hdfs中的用户

weixin_29175469的博客

03-19

300

我想更改hdfs中使用的用户与jvm中使用的用户相比,因为我有这个错误：Stream spark: org.apache.hadoop.security.AccessControlException:Permission denied: user=www, access=WRITE,node=”/user/www/.sparkStaging/application_1460635834146_00...

WordCount应用提交Spark——访问HDFS文件——Python提交与Scala+sbt打包提交

m0_57949886的博客

03-27

486

本文用来记录一下学习spark的过程，学习过程中一个个的定目标、解决bug还是挺有意思的。有不对的地方还请指出。

spark-sql 操作 hdfs文件，服务器有kerberos安全认证的

小哇

10-30

3341

前提：程序是放在服务器上运行，而非在自己电脑本机环境下运行 1spark-sql 自己写的代码程序，不做任何改动 2 关键是 spark-submit的--keytab，--principal参数如 spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@BAIDU.COM --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-...

spark-submit cluster模式时driver-class-path支持hdfs路径

04-23

spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。

Spark hadoop票据过期问题HDFS_DELEGATION_TOKEN

01-20

Spark Streaming应用程序在运行7天后自动退出，日志中显示一个与用户相关的HDFS_DELEGATION_TOKEN已经过期。这个令牌的信息包括所有者（owner）、续订者（renewer）、发行日期、最大日期（即过期时间）、序列号和主...

SparkSQL HDFS JAVA调用完整实例

06-28

在Java中调用SparkSQL与HDFS，首先需要在项目中引入Apache Maven进行依赖管理。Maven是一个项目管理和集成工具，能够帮助开发者管理项目的构建、报告和文档，同时也方便依赖的管理和版本控制。要创建一个SparkSQL...

Spark在从HDFS上读取文件运行，然后将运行后文件保存到hdfs上流程

qq_44881930的博客

08-02

1299

1、提交代码首先将Python代码上传到对应目录，然后用 spark-submit 命令提交代码。 ./bin/spark-submit ./pythonProgram/spark_hello.py hdfs://hadoop102:8020/b.txt./bin/spark-submit ./pythonProgram/spark_hello.py hdfs://hadoop102:8020/b.txt python代码如下： from pyspark import SparkContext, Sp

Spark 提交任务时，指定文件

搬砖小工053

07-19

2430

参数说明 file:\\ file: – 文件绝对路径，并且file:/URI是通过驱动器的HTTP文件服务器来下载的，每个执行器都从驱动器的HTTP server拉取这些文件。 hdfs:\\ hdfs:, http:, https:, ftp: – 设置这些参数后，Spark将会从指定的URI位置下载所需的文件和jar包。 local:\\ local: –local

11.3 spark-submit

weixin_52564218的博客

09-20

472

在本地windows中，打开WordCount2.scala，使用11.2节最后面的maven打包方式进行打包，并且把包传到虚拟机，可以新建一个文件夹，但是后面的路径需要跟文件的路径一致。在虚拟机打开hadoop，在命令行中输入。1.使用spark-submit提交。

spark中spark-submit提交样例及参数说明

爱折腾的小土豆的博客

07-01

5620

当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。

spark-submit启动应用程序

邢为栋

05-26

1395

本文介绍CDH6.3.2平台的spark-submit提交任务的方法。构建应用依赖当提交的应用程序有依赖时，可以使用spark-submit支持的方法分发依赖到整个集群。下面介绍Scala/Java和Python两类应用程序的依赖添加方法。构建Scala/Java应用依赖如果一个Scala/Java应用程序有依赖，可以将应用程序及其依赖构建成一个assembly jar，提交任务时，指定assembly jar即可。构建Python应用依赖如果一个Python应用程序有依赖，可以使用spark-

Spark-submit 提交jar包操作hdfs上的文件完成WordCount功能(有打jar包过程)

Mr_Bright的博客

11-13

2508

Spark-submit 提交jar包执行WordCount功能1. word.txt文件内容2. MAVEN依赖3. properties文件创建4. Scala代码5. 打jar包过程6. 开启Spark7. 执行jar包8. 结果在 hdfs上查看结果文件 1. word.txt文件内容 hello world hello kb09 hello hehe 在hdfs上新建kb09file2文件夹 hdfs dfs -mkdir /kb09file2 将word.txt上传到hdfs hdfs

spark + hadoop 访问基于Kerberos 安全认证、授权的hdfs集群

dymkkj的专栏

03-16

7103

1.在本地安装kerberos client 组件 yum install krb5-user libpam-krb5 libpam-ccreds auth-client-config yum install krb5-workstation 2.拷贝kerberos 集群的 /etc/krb5.conf 到本地的 /etc/ (覆盖组件初始化的krb5.conf） 3.拷贝...

Spark提交参数--files的使用

南风知我意

06-21

1631

跨集群读写数据，我们测试了写hbase是可以从计算集群向存储集群写的，而且能写进去。但是一旦写hive 他就是写不存储集群的hive中，每次都只写到了计算集群的hive中。这让我很费解，而且我在本地IDEA上测试的时候，就能写到存储集群的hive中，一旦上小海豚放集群上跑他就写跑偏了，就给写到计算集群的hive里面了。原因分析： 1.我先去Spark的运行界面上查看了Environment下的hadoop的参数，我搜了nn1去看了一下，看看我的changenamenode方法到底有没有给我生效

Spark加载hadoop配置原理

gx304419380的博客

05-09

5881

0x0 背景最近为了将hadoop&hive的五大配置文件，即： core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hive-site.xml 从项目中（classpath）移到项目外（任意位置）,研究了spark启动过程的源码，在此记录一下。 0x1 Hadoop及Hive获取默认配置过程 Hadoop有一个类 Co

spark写入数据到hdfs