spark on yarn模式 使用spark-shell spark-sql

最新推荐文章于 2025-05-13 14:45:00 发布
最新推荐文章于 2025-05-13 14:45:00 发布
阅读量523 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 总结 文章标签： spark 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35515661/article/details/126514083
总结 专栏收录该内容
793 篇文章 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何在YARN模式下使用`spark-shell`和`spark-sql`，通过指定配置参数如Hive元数据URI、队列、executor内存和核心数等，连接到Hive进行大数据处理。示例中，`spark-shell`和`spark-sql`都指定了`fcqueue`队列，并设置了executor和driver的内存及核心数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark-shell

spark-shell --conf spark.hadoop.hive.metastore.uris=thrift://192.169.0.30:9083 --conf spark.yarn.queue=fcqueue --executor-memory 2G   --executor-cores 2 --num-executors 20 --driver-memory 2G --driver-cores 5 --master yarn
 

spark-sql

spark-sql --queue fcqueue --hiveconf hive.metastore.uris=thrift://192.169.0.30:9083 --database rljl --executor-cores 2 --num-executors 2 --executor-memory 1G --conf "spark.hadoop.hive.cli.print.header=true"
 

使用Spark on YARN模式执行Spark Shell和Spark SQL编程
DevGOOD的博客
09-09 435
本文将介绍如何在Spark on YARN模式下使用Spark Shell和Spark SQL进行编程，并提供相应的源代码示例。本文将介绍如何在Spark on YARN模式下使用Spark Shell和Spark SQL进行编程，并提供相应的源代码示例。希望本文能够帮助你入门。下面是一个使用Spark SQL的示例程序，它读取一个表格文件，并执行一个简单的SQL查询，返回满足条件的数据。以下是一个使用Spark SQL的示例程序，它读取一个表格文件，并执行一个简单的SQL查询，返回满足条件的数据。
【Spark】yarn模式启动spark sql shell 带上自己想要的环境变量
LifeIsGood
07-17 124
【Spark】yarn模式启动spark sql shell 带上自己想要的环境变量
spark-sql master on yarn 模式运行 select count(*) 报错日志
09-05 340
启动hive --service metastore 启动 dfs yarn [root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores...
Spark SQL基本使用
最新发布
wzdsajn的博客
05-13 275
它允许用户使用 SQL 语法来查询数据，同时也支持使用 DataFrame 和 Dataset API。DataFrame 是一个分布式的数据集，具有命名的列。可以通过多种方式创建 DataFrame，例如从 JSON 文件、CSV 文件、Hive 表等。SparkSession 是 Spark SQL 的入口点，用于创建 DataFrame 和 Dataset，以及执行 SQL 查询。将 DataFrame 注册为一个临时视图，然后可以使用 SQL 语法查询它。// 创建 DataFrame。
sparkSQL-shell操作
互联网知识分享
07-31 2068
是一个命令行工具，用于与Spark SQL进行交互并执行SQL查询。安装Spark:首先需要下载和安装Spark，然后将其配置到环境变量中。可以从官方网站（
spark on yarn模式下配置spark-sql访问hive元数据
weixin_30505485的博客
02-15 423
spark on yarn模式下配置spark-sql访问hive元数据 目的：在spark on yarn模式下，执行spark-sql访问hive的元数据。并对比一下spark-sql 和hive的效率。 软件环境： hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.7 jd1.8 hadoop是伪分布式安装的，1个节点，...
shell中spark-sql语句调试、执行方式
SunWuKong_Hadoop的博客
11-09 3282
1.命令方式执行sparksql查询 SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;" /home/mr/spark/bin/beeline -u jdbc:hive2://localhost:18...
【大数据学习 | Spark-Core】yarn-client与yarn-cluster的区别
2301_80912559的博客
11-19 590
这3样需要从提交程序端 上传到 /user/xxx/.sparkStaging/yarnid/目录下（分布式缓存），然后再分发到运行任务的计算节点。当在客户端提交多个spark应用时，它会对客户端造成很大的网络压力，yarn-client模式只适合 交互式环境开发。客户端一经提交可以离开，常用于正常的提交应用，适合生产环境。，那运行和监控executor 的任务都是在yarn集群里面。，所以driver端（客户端）是不能离开的。3）运行任务的jar包（带有代码的jar包）2）运行要依赖的jar包。
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2041
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
在Shell 中 Spark-SQL 的调试
雨果等夏天的博客
09-11 1641
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ 一 Spark-SQL 是什么 1: Spark-SQL参见参数 \ -d ：–define <key=value> 定义键值对 ：–database 定义使...
spark-shell: 通过spark sql 操作hive
snetlogon20的博客
10-29 652
/************************************ spark sql 连接hive **************************************/ //1) 前置条件 #1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 #2.开启hive元数据服务：hi...
crontab shell调用spark-sql，实现周期性动态SQL批量自动执行.rar
12-18
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ spark-sql CLI几个参数，完全满足我等非专业人员。
shell脚本调用spark-sql
weixin_34242658的博客
07-19 1168
为了更方便的查询并产生报表， 需要使用shell脚本调用spark-sql spark/bin/spark-sql --master spark://host:7077 -f ${SQL_FILE} > ${OUT_FILE} 转载于:https://www.cnblogs.com/realzjx/p/5686322.html...
spark-shell & spark-sql 使用
热门推荐
weixin_37417954的博客
07-03 1万+
spark-shell 启动 spark-shell [hadoop@hadoop2 bin]$ ./spark-shell --master local[2] \ --jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar 通过 spark-shell 操作 hive ...
spark-shell/spark-sql --master yarn的一些坑 ---001
do_what_you_can_do的博客
11-14 1831
一、 错误描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00 原因：我的是JDK版本过高，使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题 二、 错误描述：Exception in thread
8，spark on yarn ，任务提交 ，spark-shell ，查看集群资源 ，分区实验
孙砚秋的博客
10-03 1273
一 ，spark on yarn ： 1 ，spark 概念 ： Driver：和 ClusterManager 通信，进行资源申请、任务分配并监督其运行状况等。 ClusterManager ：这里指 YARN。 DAGScheduler ：把 spark 作业转换成 Stage 的 DAG 图。 TaskScheduler ：把 Task 分配给具体的 Executor。 2 ，yarn ...
spark-SQL-shell操作(超级详细)
互联网知识分享
05-15 1652
用户可以先定义一个简单的Schema，然后逐渐的向Schema中增加列描述。需要注意的是，这些保存模式不使用任何锁定，不是原子操 ,SaveMode详细介绍如下表.加载文件夹,其实原本是加载文件的 ，主要是这个文件名的名字太长，所以就提供了可以使用文件夹。只读取需要的列，支持向量运算，能够获取更好的扫描。）查看 .parquet格式的数据，显示乱码，这个格式如何编写就不演示了。可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。是自定义的,是标记用的，也是一个文件名，但等号是一定要有的，
shell 提交spark-sql 最全参数集合
WangzhenBeyond的博客
06-11 1308
cd `dirname $0` dir=`pwd` day=$1 queue=$2 -- spark.default.parallelism=500 --executor-memory 1g --executor-cores 3 --driver-memory 1g --master yarn-client --conf spark.driver.extraJavaOptions=" -Dfile.encoding=utf-8 " \ --conf spark.exspark-sql --nu.
spark-sql on yarn环境搭建
刘光华的专栏
11-11 2640
安装环境： hadoop2.6.0 + hive1.2.1 + spark1.5.1 前提是hive和hadoop集群已经安装完毕。 1.将hive-site.xml配置文件放置在spark目录下的conf目录下。 2.配置spark-defaults.conf文件： spark.master                     yarn spark.executor.in
spark-sql on yarn 、spark-shell on yarn 详解
03-16
Spark SQL on Yarn 是在 Yarn 集群上运行 Spark SQL 的方式。它可以将 Spark SQL 作为 Yarn 上的应用程序来运行，并...在 Spark Shell on Yarn 中，用户可以直接在命令行中输入 Spark SQL 语句，并在 Yarn 集群上执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas2143

您的打赏是我的动力!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值