spark-shell - 将结果保存成一个文件

最新推荐文章于 2023-11-27 23:47:23 发布
最新推荐文章于 2023-11-27 23:47:23 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 shell 操作系统
原文链接：http://www.cnblogs.com/tugeler/p/5163535.html
本文介绍了一种使用SQLContext从特定表中选择非空user_no的数据，并将其保存为文本文件的方法。通过指定SQL查询条件，实现了对cui.operation_data_android表中user_no不等于'null'的记录进行提取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sqlContext.sql("""
    SELECT user_no,cust_id,oper_code
    FROM cui.operation_data_android
    WHERE user_no <> 'null'
""").repartition(1).saveAsTextFile("/out.txt")

转载于:https://www.cnblogs.com/tugeler/p/5163535.html

使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7790
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
将SparkSql查询到的结果保存到本地
zhangbw's blog
10-28 4829
Spark.sql查询后得到一个DataFrame对象 val df: DataFrame = spark.sql("select * from student") 将结果保存到本地 【格式为csv格式】 df.write.format("csv").save("output") 补充： 如果sql语句中涉及到分区 ，那么保存的文件个数 与 分区的个数相同。 如果想将查询的结果保存到一个文件中，可以使用下面的方法 解释 ：使用repartition方法将分区个数设置为一个 df.repartitio
Spark导出
a2261504394的专栏
11-08 700
3 Spark导出 在使用Spark之前，先将编译好的classes导出为jar比较好，可以 $ sbt/sbt assembly 将Spark及其依赖包导出为jar，放在 core/target/spark-core-assembly-0.4-SNAPSHOT.jar 可以将该jar添加到CLASSPATH里，
Spark把RDD数据保存到一个单个文件中
热门推荐
Alex.W.的机器学习之路
09-03 4万+
Spark是当前最流行的分布式数据处理框架之一，相比于Hadoop，Spark在数据的处理方面更加灵活方便。然而在最近的使用中遇到了一点小麻烦：Spark保存文件的的函数（如saveAsTextFile）在保存数据时都需要新建一个目录，然后在这个目录下分块保存文件。如果我们想在原有的目录下增加一个文件（而不是增加一个目录），Spark就无能为力了。         有网友给出建议，用rddx.rep
spark数据导入导出
alexpeace的博客
12-22 5544
【场景】 1、数据导入：结构化数据，hive中 2、代码提交： (1) spark-shell的方式 (2) spark-submit的方式，代码已经编译好。 (3) zeppelin，spark编码的方式 3、数据输出： (1) csv,json (2) 本地化，hive 【实现】 1、spark-shell： 交互式编程，涉及到外包包依赖时，将需要的jar包都下载
Spark SQL简单操作演示（含导出表）
就问你吃不吃药
10-27 1204
Spark SQL前身 是Shark，由于Shark对于Hive的太多依赖制约了Spark的发展，Spark SQL由此产生。 Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQL/HQL 启动spark-sql$>spark-sql 16/05/15 21:20:55 WARN NativeCodeLoader: Unable
Spark-shell批量命令执行脚本的方法
09-15
例如，设置Hive的动态分区策略，切换到“hr”数据库，将表“t_abc”的所有数据保存为文本文件，然后计算两个数据集的交集并返回元素个数。 这个脚本的一个关键特性是使用`!EOF`和`!EOF`来创建一个“here document”...
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
最新发布
wang2leee的博客
11-27 1375
spark-shell 任务提交任务参数选项说明示例源码详解
spark02(spark-shell使用，scala开发spark)
bitmao888的博客
06-07 1283
文章目录Spark角色介绍spark任务提交以及spark-shell使用运行spark-shell --master local[N] 读取hdfs上面的文件使用scala开发spark程序代码本地运行 Spark角色介绍 Spark是基于内存计算的大数据并行计算框架。因为其基于内存计算，比Hadoop中MapReduce计算框架具有更高的实时性，同时保证了高效容错性和可伸缩性。从2009年诞生于AMPLab到现在已经成为Apache顶级开源项目，并成功应用于商业集群中，学习Spark就需要了解其架构
《大数据基础》关于hdfs与spark-shell的一些操作
Respect111的博客
06-07 550
hdfs与spark-shell中的上传文件，词频统计，倒叙排列，合并文件并下载到本地，显示
uri （url）保存为jpg图片（文件）
Bearin的博客
05-10 3568
String uri = "http://192.168.1.108/onvifsnapshot/media_service/snapshot?channel=1&amp;subtype=0" 这是一个图片地址： 1.没有以jpg或者png结尾 2.没有文件名 怎么保存为图片呢？困扰了我很久，下面是教程： //通过URL保存图片 public static void...
SparkSQL的文件加载和保存
A的虎的博客
09-08 2328
SparkSQL的文件加载和保存方法，包括通用方法和基本方法
解决spark-shell输出日志信息过多
航天飞哥的博客
06-05 2066
当我们执行Spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息1。  解决方案 进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为log4j.properties，并对log4j.pro
[Spark] spark-shell 命令使用
Cindy的博客
07-12 2万+
环境：操作系统：CentOS7.3Java: jdk1.8.0_45Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin [hadoop@hadoop01 bin]$ ./spark-shell --help Usa...
云计算实验3 基于Scala编程语言的Spark数据预处理实验
Sunny不要停的博客
11-07 2678
本次实验主要使用了Scala语言进行基本的操作，基本熟悉Scala的基本语法、数据类型以及函数的使用，在spark-shell下完成RDD的基本操作，根据实际业务需求使用spark 完成对Apache格式的日志内容的分析，了解了自定义日志过滤函数、日志预处理、日志的相关指标等操作。
Hive 导出数据到 CSV 文件
JIE的博客 --- moon_coder
11-12 6745
spark 导出的是一个目录，我们需要拿到目录下的 csv 文件。最后，按题目要求改成指定路径与名称就可以啦，这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。：以带表头的方式查询。的就是我们的结果文件。
spark sql 导出数据
weixin_30702887的博客
05-04 1324
如果用户希望在spark sql 中，执行某个sql 后，将其结果集保存到本地，并且指定csv 或者 json 格式，在 beeline 中，实现起来很麻烦。通常的做法是将其create table tempTable as *** ，通过将结果集写入到新的临时表中，进行保存，然后再通过其他方式export 到本地。 这种方式，对于 HDFS 是可行到，但是如果数据是保存在像SequoiaDB ...
spark中将数据输出到json文件的两种方式
weixin_41590998的博客
11-15 5712
在学习spark时，我们经常遇到要将数据写进一个json文件中的案例。通常的案例就是，给我们一个普通文件，然后我们用sparkcore或者sparkSQL，遍历文件内容后，按照需求将再将遍历后得到的数据写入json文件中。 这里，我主要使用两种方法： 方式一：通过dataframe.write.json() 方式二：使用gson 初始的文件部分内容大概如下所示： 300T|3001003|C204...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值