spark on hive 写入hdfs

最新推荐文章于 2024-11-12 09:15:00 发布
最新推荐文章于 2024-11-12 09:15:00 发布
阅读量746 收藏
点赞数
分类专栏： 大数据 文章标签： scala spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34009542/article/details/78344777
版权
本文详细探讨了在使用Scala编写的Spark应用程序中，如何处理Spark on Hive进行数据写入HDFS时遇到的问题。文章深入剖析了错误源头，并提供了具体的解决方案，帮助开发者解决此类问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Exception in thread "main" java.io.IOException: No FileSystem for scheme: http
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2795)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2809)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:98)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2852)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2834)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:387)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
        at org.apache.spark.SparkHadoopWriter$.createPathFromString(SparkHadoopWriter.scala:170)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$4.apply$mcV$sp(PairRDDFunctions.scala:1059)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$4.apply(PairRDDFunctions.scala:1026)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$4.apply(PairRDDFunctions.scala:1026)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)
        at org.apache.spark.rdd.RDD.withScope(RDD.scala:316)
        at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:1026)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$1.apply$mcV$sp(PairRDDFunctions.scala:952)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$1.apply(PairRDDFunctions.scala:952)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$1.apply(PairRDDFunctions.scala:952)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)
        at org.apache.spark.rdd.RDD.withScope(RDD.scala:316)
        at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:951)
        at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply$mcV$sp(RDD.scala:1457)
        at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply(RDD.scala:1436)
        at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply(RDD.scala:1436)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:111)
        at org.apache.spark.rdd.RDD.withScope(RDD.scala:316)
        at org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1436)
        at com.databricks.spark.csv.package$CsvSchemaRDD.saveAsCsvFile(package.scala:179)
        at xiangqi_spark.MysqlImport$.main(MysqlImport.scala:35)
        at xiangqi_spark.MysqlImport.main(MysqlImport.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:730)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)

        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)


解决方案：

resultsql.repartition(1).write.format("csv").save("http://192.168.0.118:8020/tmp/"+date+"_2")
改成
resultsql.repartition(1).write.format("csv").save("hdfs://192.168.0.118:8020/tmp/"+date+"_2")
看出不一样的地方没
看出来，打自己吧，那么粗心。。。。



spark on hive 写入hdfs 用csv格式
qq_34009542的博客
10-25 2036
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: csv. Please find packages at http://spark-packages.org         at org.apache.spark.sql.execution.datasources.R
sparksql读取hive中的数据保存到hdfs中
YouMe的博客
09-07 7078
package wondersgroup_0905_Test import org.apache.spark.sql.SparkSession object sparkHive { def main(args: Array[String]): Unit = { //数据库名称 val database ="hivetest" //表名称 val table...
hive写入hdfs
weixin_30915275的博客
04-15 611
insertoverwritedirectory'/user/stastics.txt'rowformatdelimitedfieldsterminatedby'\t'storedastextfileselect*from 0601_04_stastics; 转载于:https://www.cnblogs.com/zhearts/p/10709594.html...
通过hive对hdfs写入数据
weixin_44999258的博客
01-29 3224
已经在linux云服务器上搭建了hadoop和hive，现在通过hive往hdfs写入数据，并通过9870端口查看数据 确认hadoop中相关进程已经开启，再开启hive，当前进程可通过jps命令查看 [root@cloudmyc tmp]# jps 4689 Jps 2561 NodeManager 2167 SecondaryNameNode 1930 DataNode 2428 ResourceManager 1791 NameNode 进入hive命令行后，新建表create table t
Spark跨集群写hive
南风知我意
06-05 1256
我们有两个集群（ps：计算集群/存储集群），现在有个需求就是，计算集群运行Spark任务，从kafka取数据写到存储集群的hive。 1，在远程连接Hive时Hive有两种服务Hive Metastore Server和HiveServer2 HiveServer2是JDBC连接，使用这种方式会占用数据本地集群的计算资源（常用默认端口10000的那种） 2，Spark连接Hive可以使用Hive Metastore Server，这样只需连接Hive的元数据，通过元数据记录的数据路径拉取数据使用Spark对
spark java 写入hdfs_解决Spark Streaming写入HDFS的小文件问题
weixin_28853079的博客
02-19 1137
今天仍然处于感冒状态，打开电脑随便写一篇，然后滚回床上休息。我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果有大量小文件的话，会浪费block，使元数据增加，挤占宝贵的NameNode内存。另外，大文件能够发挥磁盘顺序读写的优势，小文件会产生很多随机读写，性能下降。在我们的数仓体系中，有一部分业务的日志数据来源是RocketMQ。我们...
大数据利用spark on hive程序操作hive
weixin_40341521的博客
09-28 3918
hive on spark 作者：小涛 Hive是数据创库，他是处理有结构化的数据，当数据没有结构化时hive就无法导入数据，而它也是远行在mr程序之上的基于磁盘计算，然而我们今天来让hive远行在spark上，基于内存计算，在基于内存来让hive远行在内存上这样就比以前的快个几十倍，现在...
Spark与Hive的完美结合：如何在Spark上部署Hive
humsuen的博客
11-12 3153
主要记录如何安装配置 Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。
spark+hdfs+hive
lucky的专栏
05-24 2563
1 启动hdfs https://blog.youkuaiyun.com/ssllkkyyaa/article/details/86735817 2启动hive https://blog.youkuaiyun.com/ssllkkyyaa/article/details/86527365 s200启动hive $HIVE_HOME/bin/hive 3启动spark https://blog.csdn.n...
Spark读取HDFS上的Snappy压缩文件所导致的内存溢出问题 java.lang.OutOfMemoryError: GC overhead limit exceeded
chun的博客
11-19 2686
HDFS上有一些每天增长的文件，目前使用的是Snappy压缩，突然某天OOM了 1.原因: 因为snappy不能split切片，也就会导致一个文件将会由一个task来读取，读取后解压，数据又会膨胀好多倍，如果文件数太大而且你的并行度也挺大，就会导致大量full gc，最终OOM 因为前人实现的，不太好改，为了程序能快速跑起来，只好将最后入HDFS前reparation(500),修改为1000，增加文件数，减少每个文件数据量。但是他不是长久之计，更换压缩方式LZO，但是没实现过还需要建立索引，需要规划一下，
python+scrapy爬虫 + mongoodb + hadoop+hive综合项目：招聘网站数据
qq_44007764的博客
07-14 2974
一、项目简介 注意（本项目完全是用python编写） 1、本项目为实训项目，并无实际参考意义，望周知。 2、本次项目使用51job和中华英才网的相关数据 3、由于两个网站的数据爬取部分相似便只给出一个的源代码，另一个以截图截出重要代码。 二、数据收集 1、创建项目以及其相应的爬虫主文件 scrapy startproject shixun #在终端创建scrapy项目 scrapy genspider job 51job.com #创建相关爬虫主文件 2、item.py的编写（爬取字段列表的编写） im
scrapy爬虫+hive存储+数据可视化
MGTQAQ的博客
07-15 3774
实训要求 利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，利用flume采集日志进HDFS中，利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，并显示分析结果，最后将分析的结果做数据可视化。 搭建爬虫 本次选取的网站是前程无忧网，利用框架是scrapy。 1. 用scrapy框架创建爬虫 2. items.py import scrapy class Job51Item(scrapy.Ite
Hive SQL查询结果写入指定hdfs路径
热门推荐
zxlove
06-06 1万+
将hive查询结果写入指定hdfs路径下：set mapred.reduce.tasks = 1; insert overwrite directory '/xx/xx/' ROW FORMAT DELIMITED FIELDS TERMINATED BY '~' select cols... from tableName where conditions... distribute by ran...
spark & 文件压缩
偷闲小苑
07-22 9900
hdfs中存储的文件一般都是多副本存储，对文件进行压缩，不仅可以节约大量空间，适当的存储格式还能对读取性能有非常大的提升。文本文件压缩snappyjson文本压缩率 38.2%，压缩和解压缩时间短。import org.apache.parquet.hadoop.codec.SnappyCodec rdd.saveAsTextFile("codec/snappy",classOf[SnappyCod
scrapy爬虫成长日记之将抓取内容写入mysql数据库
weixin_34391854的博客
06-12 242
　　前面小试了一下scrapy抓取博客园的博客（您可在此查看scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据），但是前面抓取的数据时保存为json格式的文本文件中的。这很显然不满足我们日常的实际应用，接下来看下如何将抓取的内容保存在常见的mysql数据库中吧。 　　说明：所有的操作都是在“scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据”的基础上完成，...
把hive中的数据导入到hdfs或者本地文件的方式
梁小明的博客
10-20 8805
把hive中的数据导入到hdfs或者本地文件的方式 1、通过insert...directory方式导出数据到本地文件 insert overwrite local directory '/opt/datas/hive/exp_hive' select * from emp ; insert overwrite local directory '/opt/datas/hive/exp_
spark shell读取hadoop hdfs上文本文件统计wordcount的方法
hsg77的专栏
08-17 3738
spark shell读取hadoop hdfs上文本文件统计wordcount的方法 [hadoop3@master app]$ spark-shell 2018-08-17 14:37:57 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-j...
将hdfs数据写入hive
htbeker的博客
01-25 7223
下面来唠唠怎么将hdfs里的数据写入到hive里。 要将数据写入hive里，那么hive里得有存放数据表得位置，因此， 第一步，是在hive里创建新的表来存储来自hdfs的数据，这里有两个注意：1、新建的表应该跟hdfs里面数据表一致，指定列名；2、创建表格式应一致，具体就是指row format delimited fields terminated by ','里by后面应与hdfs数据保...
spark on hive的面试题
最新发布
03-19
<think>好的，我现在需要处理用户关于Spark on Hive的面试题及答案的请求。首先，我得先理解用户的具体需求。用户之前提到了Hive相关的面试题，现在想找Spark on Hive的相关内容。我需要结合两者的交集部分来生成问题和解答。 接下来，我得回忆一下Spark on Hive的基本概念。Spark和Hive都是大数据处理工具，Spark可以集成Hive，使用Hive的元数据存储，这样Spark SQL就能直接访问Hive表。这种集成通常称为Spark on Hive，或者Spark与Hive的集成。 用户可能需要的问题可能涉及配置、优化、数据读写、执行过程比较等。比如，如何配置Spark连接Hive？Spark与Hive的区别是什么？性能优化方面有什么要注意的？还有可能涉及Hive on Spark和Spark on Hive的区别，这也是常见的混淆点。 然后，我需要参考之前提供的引用内容。比如，引用[3]提到Hive处理时间序列数据时使用分区和列式存储，以及窗口函数。这可能和Spark处理Hive表时的优化有关联，比如在Spark中使用同样的存储格式或者分区策略。 另外，用户提供的示例回答结构包括问题列表和答案，每个答案后可能有代码块或引用。我需要确保生成的答案符合用户指定的格式，比如使用中文，正确使用LaTeX公式（虽然这里可能不太需要），以及添加引用标识。 可能的问题点： 1. Spark如何集成Hive Metastore？ 2. 读取Hive表时的优化措施。 3. Spark SQL与Hive SQL的异同。 4. 如何将Spark处理的结果写回Hive？ 5. Hive on Spark和Spark on Hive的区别。 6. 权限控制，比如Spark访问Hive时的权限设置（可能参考引用[2]中的Hive权限控制）。 7. 处理复杂数据类型时两者的协作（参考引用[3]中的复杂数据类型处理）。 需要确保每个问题的解答准确，并且如果有相关的引用内容，在末尾添加引用标识。例如，当提到Hive的分区优化时，可以引用[3]中的内容。 还要注意用户提到的“系统级指令”，比如数学公式的格式，但问题可能更多涉及配置和概念，可能用不上太多数学公式。不过如果有涉及性能分析的公式，比如时间复杂度，需要用$$...$$格式。 最后，检查生成的问题是否覆盖了用户可能关心的方面，以及答案是否正确、结构清晰，符合用户的要求。</think>### Spark on Hive 面试题及解答 #### 1. **Spark如何集成Hive Metastore？** Spark通过读取Hive的配置文件（如`hive-site.xml`）来连接Hive Metastore，从而直接访问Hive表。配置步骤如下： 1. 将Hive的`hive-site.xml`文件复制到Spark的`conf`目录。 2. 启动Spark时，指定Hive Metastore的地址（如`spark.sql.hive.metastore.uris`）。 ```scala val spark = SparkSession.builder() .appName("SparkOnHive") .config("spark.sql.hive.metastore.uris", "thrift://hive-metastore-host:9083") .enableHiveSupport() .getOrCreate() ``` 此时，Spark可直接通过`spark.sql("SELECT * FROM hive_table")`查询Hive表[^3]。 --- #### 2. **Spark读取Hive表时有哪些优化方法？** - **分区裁剪**：利用Hive表的分区设计，Spark自动过滤无关分区。例如，查询`WHERE l_date='2023-01-01'`时，仅读取对应分区[^3]。 - **列式存储**：若Hive表使用ORC或Parquet格式，Spark可高效读取特定列，减少I/O开销。 - **谓词下推**：通过`spark.sql.parquet.filterPushdown true`启用，将过滤条件下推到存储层执行。 --- #### 3. **Spark SQL与Hive SQL的主要区别？** | 特性 | Spark SQL | Hive SQL | |---------------------|-------------------------------|------------------------------| | **执行引擎** | 基于Spark内存计算 | 基于MapReduce或Tez | | **延迟** | 低延迟（毫秒级） | 高延迟（分钟级） | | **容错** | RDD血缘容错 | 依赖外部存储（如HDFS） | | **适用场景** | 迭代计算、实时分析 | 离线批处理 | --- #### 4. **如何将Spark处理的结果写回Hive表？** 通过`DataFrame.write.saveAsTable`方法可直接写入Hive表： ```scala df.write.mode("overwrite").saveAsTable("hive_output_table") ``` 若需动态分区，需启用配置： ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` --- #### 5. **Hive on Spark和Spark on Hive的区别？** - **Spark on Hive**：Spark作为执行引擎，直接访问Hive元数据（默认模式）。 - **Hive on Spark**：Hive将Spark作为底层计算引擎（需配置`hive.execution.engine=spark`），适用于替代MapReduce[^2]。 --- #### 6. **Spark访问Hive表时如何控制权限？** 需依赖Hive的权限机制（如Ranger或Sentry）： - 在Hive中配置角色和权限（如`GRANT SELECT ON TABLE test TO user1;`）[^2]。 - Spark需以对应用户身份提交作业，继承Hive权限。 --- #### 7. **Spark如何处理Hive中的复杂数据类型（如ARRAY、MAP）？** Spark支持Hive的复杂数据类型，可直接映射为`ArrayType`、`MapType`： ```scala val df = spark.sql("SELECT id, tags FROM hive_complex_table") df.printSchema() // root // |-- id: int // |-- tags: array<string> ``` 可通过`explode`函数展开数组： ```sql SELECT id, explode(tags) AS tag FROM hive_complex_table ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值