转载spark异地读取hive（亲测有效）

最新推荐文章于 2025-05-03 13:11:16 发布
最新推荐文章于 2025-05-03 13:11:16 发布
阅读量1.5k 收藏
点赞数
分类专栏： hive Spark 文章标签： hive spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jin6872115/article/details/121355296
版权
本文介绍了如何使用Spark从一个集群同步数据到另一个集群，作为替代 Sqoop 的方案。通过连接源数据集群的Hive Metastore Server，切换Hadoop配置，利用SQL抽取并加载数据，实现高效的数据同步。文章详细讲解了整个过程，包括数据抽取、文件写入及加载到目标Hive表的操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://segmentfault.com/a/1190000019456175

本文适用有入门spark基础的同学，一些最基础知识不再赘述

通过阅读本文即可掌握使用Spark跨集群同步Hive数据的技巧！

众所周知，业界比较成熟的同步数据工具是Sqoop，它是连接关系型数据库和Hadoop的桥梁

比较常用的场景是从MySQL等RDB同步到Hive、Hbase或者将Hive、Hbase的数据导出到MySQL

但是在公司项目技术选型时选用了用Spark来从一个集群同步数据到另一个集群

下面来比较一下这两种方式：

①Sqoop使用配置化，Spark需要代码开发

学习成本上使用Spark稍微高一些，但是同步数据复杂一些Sqoop的配置也不见得很简单

②Sqoop在同步数据进行存储时仍需要启动MapReduce任务，Spark使用自身框架进行内存计算

在效率上Spark比Sqoop要高

③Sqoop1和Sqoop2不能完全兼容，且网上在不同集群的Hive间同步数据的资料也比较少，出现问题时不保证能解决

所以选用了Spark作为天池的数据同步方式

其实当时选用Spark最重要的原因是本人使用Spark比较熟！

下面就来介绍如何使用Spark进行数据同步
1. 抽取数据文件

1.1 创建Spark入口对象指定源数据的Hive元数据服务
扩展：在远程连接Hive时Hive有两种服务Hive Meta

最低0.47元/天 解锁文章
万字详解：云原生AI/大数据生态中Spark分布式数据处理框架的深度解析
AI天才研究院
04-13 279
1.1 内存计算引擎与性能突破 Apache Spark作为一款专为大规模数据处理设计的分布式计算框架，其最显著的优势在于内存计算能力。与传统Hadoop MapReduce将中间结果写入磁盘不同，Spark允许数据在内存中直接迭代计算，使得批处理速度提升最高达100倍（内存模式）或10倍（磁盘模式）。例如，某金融机构使用Spark处理1TB交易数据时，MapReduce需数小时完成的任务，Spark在内存中仅需数分钟完成。1.2 多范式统一处理架构 Spark通过分层API设计实现了多数据处理的范式统一：
美团点评 Hadoop/Spark 系统实践
叔于田蒸蒸的博客
10-22 4827
美团点评Hadoop/Spark系统实践 一、Hadoop/Spark 定位与应用架构1.1 功能和定位（是什么）二级目录三级目录Spark 实践 ) 美团大数据系统整体架构 一、Hadoop/Spark 定位与应用架构 1.1 功能和定位（是什么） Hadoop 开源地址和官网 Spark 开源地址和官网 简单来说，拆解之后的 Hadoop/Spark 项目基本分为三层：① 最底层是资源调度和文件存储 ② 往上是分布式计算内核 ③最上层是 Spark 衍生的一些框架。今天说的主要是三个黑框的部分。
spark跨集群读取hive数据
qq_42213403的博客
06-04 2954
简述 常见的跨集群的数据迁移工具有distcp、sqoop等等 本文是介绍使用spark on hive的方式读取不同集群hive中的数据并落入本地集群，
Spark跨集群写hive
南风知我意
06-05 1243
我们有两个集群（ps：计算集群/存储集群），现在有个需求就是，计算集群运行Spark任务，从kafka取数据写到存储集群的hive。 1，在远程连接Hive时Hive有两种服务Hive Metastore Server和HiveServer2 HiveServer2是JDBC连接，使用这种方式会占用数据本地集群的计算资源（常用默认端口10000的那种） 2，Spark连接Hive可以使用Hive Metastore Server，这样只需连接Hive的元数据，通过元数据记录的数据路径拉取数据使用Spark对
spark读取服务器的文件,spark远程读取其他服务器文件
weixin_35531735的博客
08-06 667
spark远程读取其他服务器文件 内容精选换一换远程桌面协议(Remote Desktop Protocol，RDP)，是微软提供的多通道的远程登录协议。本节为您介绍如何使用RDP文件远程登录Windows弹性云服务器。从管理控制台下载的RDP文件对应唯一的云服务器，当前RDP文件命名规则为“云服务器名称-弹性IP”。弹性云服务器状态为“运行中”。如果弹性云服务器采用密钥方式鉴权，已获本节为您介绍...
本地Spark连接远程集群Hive(Scala/Python)
程序员小陶的大数据分享
05-12 2399
精选30+云产品，助力企业轻松上云！>>> ...
使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据
云来山更佳，云去山如画
11-03 992
使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据
Spark 读 Hive（不在一个 yarn 集群）
weixin_30316097的博客
01-25 250
方法一 1. 找到目标 Hive 的hive-site.xml 文件，拷贝到 spark 的 conf 下面。 在我的情况下/etc/hive/conf/hive-site.xml ->/usr/lib/spark/conf/hive-site.xml 2. 运行期间，遇到一个问题： java.lang.NoClassDefFoundError: org/apache/...
入门必读 | Spark 论文分享与导读
wujiandao的专栏
01-13 1191
点击蓝色“有关SQL”关注我哟加个“星标”，天天与8000人一起快乐成长本次分享的 Spark论文是《Resilient Distributed Datasets: A fault-t...
大数据领域分布式计算在金融行业的应用
最新发布
AI天才研究院
05-03 1006
金融行业作为数据密集型领域，每天产生TB级别的交易数据、用户行为数据、市场行情数据。传统集中式架构在处理“数据规模指数级增长”“实时分析需求激增”“多源异构数据融合”三大挑战时，面临计算能力不足、存储成本高、扩展性差等问题。本文聚焦分布式计算技术（如Hadoop、Spark、Flink）在金融行业的落地实践，覆盖技术原理、算法实现、实战案例与未来趋势，为金融机构数据团队提供从架构设计到场景应用的完整参考。
简单的spark 读写hive以及mysql
11-30
简单的spark加载HIVE MYSQL 数据，以及简单的进行往mysql,hive写入数据
FTP实时传输引擎
02-15
FTP实时传输引擎:scala+springboot+mysql+redis+docker, 通过技术实现服务器对服务器的点对点的传输
spark程序跨集群操作的一点思路
永无止境
11-20 1157
现有2个集群如下： 1、hdp，使用hive和yarn，有kerberos认证 2、cdh，使用kafka和phoenix，无kerberos认证 spark程序部署在hdp客户端机器。 场景1：spark streaming程序yarn client模式读取cdh kafka数据写入hdp hive，经测试在hdp客户端主机跑local模式可行，跑yarn client模式报错，org....
python调用spark和调用hive_本地Spark连接远程集群Hive(Scala/Python)
weixin_39619270的博客
12-10 600
背景很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作 (打jar包——>上传集群——>spark-submit) 这些步骤时，那我们就可以在本地直连Hive，直接运行你的Spark应用程序中的main函数即可。代码如下(版本为Spark2.0+)：Scala版本代码如下：import org.apache.spark.sql.SparkSessio...
Spark读取外部数据的几种方式
Messi的小迷弟
08-21 3295
一、spark读取csv文件（四种方式） //方式一：直接使用csv方法 val sales4: DataFrame = spark.read.option("header", "true").option("header", false).csv("file:///D:\\Software\\idea_space\\spark_streaming\\src\\data\\exam\\sales.csv") .withColumnRenamed("_c0", "time") .withC
spark-hive连接操作流程、踩坑及解决方法
GitHub-ChauserMondieu
04-05 2185
hive安装；spark-hive兼容版本编译；spark-sql操作hive表格
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
T_Y_F_的博客
12-20 1034
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
本地IDEA、spark程序远程读取hive数据
Nickkun的博客
11-21 4282
描述问题 数据在linux系统服务器上，在自己windows上用IDEA编写spark程序，需要远程访问hive数据。 先说成功步骤，再说配置过程出现的的问题和解决办法 步骤 1 下载winutils github-winutils各个版本集合 下载里面和自己服务器版本对应的， 配置HADOOP_HOME 将下载的文件添加到系统环境变量，配置完最好重启系统。 2 添加hive-site.xml文件 下载服务器端的hive-site.xml文件配置 添加到src/main/resources目录下 hi
linux环境下用pyspark2.x读取集群中hive的表数据遇到的坑及其解决方法
qq_39954916的博客
05-07 1664
第一个坑： 首先把hive安装目录下/opt/module/hive/conf 的hive-site.xml复制到spark-2.1.1-bin-hadoop2.7\conf，执行如下代码： from pyspark import SparkConf,SparkContext from pyspark.sql import HiveContext,Row sparkC...
spark2 读取hive写入es
01-17
Spark2可以通过Spark SQL读取Hive数据，并通过Elasticsearch-Hadoop集成库将数据写入Elasticsearch。首先，需要在Spark2中创建一个SparkSession，然后使用Spark SQL的方式来读取Hive中的数据。可以通过HiveContext或者直接使用SparkSession来操作Hive表，例如使用SQL语句或DataFrame API来读取数据。 读取Hive数据后，可以通过Elasticsearch-Hadoop集成库将数据写入Elasticsearch。首先需要将Elasticsearch-Hadoop集成库添加到Spark应用程序的依赖中，然后创建一个DataFrame，并使用saveToEs方法将数据写入Elasticsearch。在saveToEs方法中需要指定要写入的Elasticsearch索引和类型，以及相关的配置参数。例如，可以设置Elasticsearch集群的地址、端口、认证信息等参数。 在写入数据到Elasticsearch之前，还可以进行一些数据转换、清洗或处理操作，以确保数据的质量和准确性。例如，可以对数据进行字段映射、类型转换、数据过滤等操作。 总之，通过Spark2读取Hive数据并写入Elasticsearch的过程涉及到Spark SQL读取Hive数据和Elasticsearch-Hadoop集成库将数据写入Elasticsearch的操作。通过这种方式，可以方便地将Hive中的数据导入到Elasticsearch中，为后续的数据分析和可视化提供支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值