spark-SQL -e -f 的用法

最新推荐文章于 2024-06-17 14:25:05 发布
原创 最新推荐文章于 2024-06-17 14:25:05 发布 · 2.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark-sql

本文介绍了如何使用 Spark SQL 进行数据查询，包括指定数据库、执行 SQL 语句及配置执行参数等操作。

spark-sql -help

出现用法提示

 

spark-sql --database bigdata  -e "select * from dw_results limit 1000;" > /home/results.txt

--database 选择对应的hive数据库

-e 对应的sql语句

--num-exectors 10 对应的执行器数量

--conf 设置saprk执行内存

 

hive（spark-sql） -e -f -d以及传参数, sh并行
.
09-05 9136
1. 使用“spark-sql -e” 与“Hive”一样，Spark SQL CLI也支持“-e”参数 spark-sql-e "insert intotable ***" Spark-SQL导出查询结果到 results.txt spark-sql --num-executors 100 -e "select * from table" > results.txt ...
Spark-SQL那些事
zhixingheyi_tian的博客
05-18 1499
WITH AS WITH AS短语，也叫做子查询部分，定义一个SQL片断后，该SQL片断可以被整个SQL语句所用到。有的时候，with as是为了提高SQL语句的可读性，减少嵌套冗余。 with A as ( select * from user ) select * from A, customer where customer.userid = user.id** 先执行select * from user把结果放到一个临时表A中，作为全局使用。 with as的将频繁执行的s
Spark-SQL详解
别下完这场雪
06-09 1946
前言 在没有sparkSql之前，进行数据分析一般通过MR，SQL 但是MR运行慢，操作较为复杂，即效率比较低。 SQL运行速度较快，操作也方便。但是面向的是关系型数据库，并不适合大数据开发 模仿SQL–>HIVE HIVE是将HIVE SQL 转换成MapReduce然后提交到集群上执行，虽然简化了Mapredece程序复杂性，但是由于MapReduce计算模型自身限制，速度并不是很快 spark模仿hive，自己形成了SparkSQL，将Spark SQL 转化为RDD，然后提交到集群执行，执行
sparkSQL文档
04-28
本文详细的描述了sparksql的一些应用，带你快速的了解
Spark实战（6）_spark-sql -e -f -i命令的整合和spark-sql日常作业开发流程总结
热门推荐
分享数据科学家的自我修养
05-24 1万+
背景介绍 在日常工作中，我们可以在一个shell脚本里面利用spark-sql -e执行sql脚本，而且可以传参数，但是存在一个问题，shell脚本对格式要求严格，而且shell脚本和spark-sql的脚本混在一起，内容庞大凌乱，不好管理。而spark-sql -f可以执行一个hql文件，但是不能传参数进去，这就引出了一个问题，有没有一种方法，既可以把shell和hql脚本分开，shell负责调...
SparkSQL
Zonzereal的博客
02-03 3433
SparkSQL的前身是Shark，它抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等,重新开发了SparkSQL代码;由于摆脱了对Hive的依赖性,SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。   1、Spark SQL性能 Spark SQL比hive快10-100倍
Spark-Sql源码简单走读
u011372108的博客
07-06 465
自从Spark统一了RDD和DataFrame(DataSet)后，批处理上对DataFrame的使用频率上也大大超过了原始RDD，同样的SparkSql的使用也越来越频繁，因此对其中的执行过程进行简单了解是必不可少的，本文就对SparkSql源码进行简单的流程走读，涉及复杂内容的地方做到知其作用目的即可，不予深究。
spark-sql测试总结
oufuji的博客
12-17 4098
spark-sql测试总结 最近倒腾spark-sql，原来测试都是很小的数据，由于自己的是6个虚拟机资源有限，也不能太大，于是在找了帖子。 http://colobu.com/2014/12/11/spark-sql-quick-start/ Spark SQL 初探： 使用大数据分析2000万数据 ############## 不要问我数据怎么下载的，自己搜索，我用完就删了
Spark SQL基本使用以及整合Hive
m0_69822077的博客
06-17 1446
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
spark-sql脚本-e和-f两种方式转义处理的区别
初阳
08-21 624
spark-sql脚本-e和-f两种方式转义处理的区别
sparkcli命令spark－sql的使用
09-23 7104
spark的定位是是替换掉hive和storm，企业里面hive百分之八十的命令都是通过hive－cli命令来调的，sparksql的作用等同于hive－cli。hive－cli是跑在mapreduce，sparksql是运行在spark上，通过sparksql --help可以看cli，比如指定内存，核数，以及执行cli的命令，他是完全仿造hive的。 比如在hive上执行：hive -e "
Spark读写ES
upupfeng的博客
01-17 2064
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置 ES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。 以下是pom依赖，具体版本可以根据自己的es和spark版本进行选择： <dependency> <groupId>org.el...
基于sparksql调用shell脚本执行SQL
mllhxn的专栏
05-30 8473
基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项 1、定时调用脚本#!/bin/sh # upload logs to hdfs yesterday=`date --date='1 days ago' +%Y%m%d` /opt/modules/spark/bin/spark-sql -i /opt/bin/spark
Spark-SQL的使用
炼数成器
03-20 1543
spark-sql CLI Spark SQL CLI是一种方便的工具，可以在本地模式下运行Hive Metastore服务并执行从命令行输入的查询。 conf/目录中必须包含hive-site.xml，core-sit...
select报错 spark_Scala Spark DataFrame: DataFrame.select 传入可变参数的方法
weixin_39733943的博客
12-23 578
Scala Spark DataFrame: DataFrame.select 传入可变参数的方法22 January 2018今天遇到个简单的错误，在这里与大家分享下。测试脚本如下：import org.apache.spark.sql.{SparkSession, DataFrame}val spark = sparkSesssion.builder.getOrCreate()import s...
【SparkSQL】SparkSQL的运行流程 & Spark On Hive & 分布式SQL执行引擎
爱干饭的猿的博客
12-02 2000
本文重点介绍、SparkSQL的运行流程、 SparkSQL的自动优化、Catalyst优化器、SparkSQL的执行流程、Spark On Hive原理配置、分布式SQL执行引擎概念、代码JDBC连接。
spark-sql执行hivesql
a_hui_tai_lang的博客
08-27 5909
spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。 我们执行hive命令一般都是 hive -e 'select * from xx' 或者 hive -f /home/hadoop/xx.hql -d dt=2018-01-01 但是hive底层使用mr执行速度实在不忍直视，安装hi...
我是用spark-sql跑的
最新发布
05-08
在使用 Spark SQL 时遇到 `'ascii' codec can't encode characters` 错误，通常是由于数据集中存在非 ASCII 字符（如中文、特殊符号等），而默认编码未能正确处理这些问题。以下是几种可能的解决方案： #### 方法一...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值