IDEA 中 用spark 1.6.x 实现 不同数据源join (hive join MySQL )

最新推荐文章于 2024-08-08 23:12:31 发布
最新推荐文章于 2024-08-08 23:12:31 发布
阅读量882 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wjl7813/article/details/79501165
在Windows平台上通过IDEA使用Spark 1.6.x实现Hive与MySQL的数据源join时，需确保IP解析正常，避免Hadoop与Spark的兼容性问题引发的NullPointException异常。解决问题的方法包括修改Hadoop源码并移除HADOOP_USER_NAME配置。遇到Spark临时目录删除失败的IOException，虽不影响业务但会留下日志记录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive 服务端配置 

[hadoop@node1 conf]$ pwd
/home/hadoop/app/hive-1.1.0-cdh5.7.0/conf

[hadoop@node1 conf]$ cat hive-site.xml 

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.137.251:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>

</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value> 
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>


<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>


<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>

   <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
   </property>

<property>
<name>hive.server2.thrift.port</name>
   <value>10000</value>

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据领域 Hive 与 Spark 的集成应用
AI天才研究院
05-10 1026
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
Spark SQL精华及与Hive的集成（spark sql原理，API,操作外部源数据，SQL函数）
May_J_Oldhu的博客
11-25 1153
Spark SQL精华及与Hive的集成一.Spark SQL原理1.SQL on Hadoop2.spark的前身：shark3.Spark SQL架构4.Spark SQL运行原理5.Catalyst优化器（1）逻辑计划（2）优化（3）物理计划二.Spark SQL API1.Dataset（1）基本概念（2）使用Case Class创建Dataset2.Dataframe（1）基本概念（2）RDD与DataFrame对比（3）创建DataFrame及基本操作（4）RDD->DataFrame方式
Spark SQL中实现Hive MapJoin
刘光华的专栏
09-23 5248
转载地址： http://lxw1234.com/archives/2015/06/296.htm 在Hive中，如果一个很大的表和一个小表做join，Hive可以自动或者手动使用MapJoin，将小表的数据加载到DistributeCache中，从而在使用Map Task扫描大表的同时，完成join，这对join的性能提升非常多。 在SparkSQL中，目前还不支持
hive的join优化
大数据星球-浪尖
09-02 912
“国际大学生节”又称“世界大学生节”、“世界学生日”、“国际学生日”。1946年，世界各国学生代表于布拉格召开全世界学生大会，宣布把每年的11月17日定为“世界大学生节”...
idea中 spark 2.x 操作 hive表
wjl7813的博客
04-05 3951
pom文件中 添加如下 相关依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt;artifactId&gt;spark-hive_2.11&lt;/artifactId&gt; &lt;version&gt;${spark.version}&lt;/version&gt; &am
idea 中用spark 2.x 实现 不同数据源join (hive join MySQL )
wjl7813的博客
04-05 625
pom文件中 添加如下 相关依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt;artifactId&gt;spark-hive_2.11&lt;/artifactId&gt; &lt;version&gt;${spark.version}&lt;/version&gt; &am
sparkSQL之读取不同数据源的数据
小白学编程
09-05 4690
object DataSourceTest2 { //读取不同的数据源 def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local[*]").appName("w").getOrCreate() val sc: SparkCon...
spark集群访问mysql_spark连接数据源以及在spark集群上跑
weixin_35621884的博客
02-03 610
1.spark连接mysqlimport org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}import scala.collection.mutable.ArrayBufferobjectAcceptSQL {def main(args: Array[String]) {val conf= ...
9. 大数据集群(PySpark)+Hive+MySQL+PyEcharts+Flask：信用贷款风险分析与预测
最新发布
chendengyi2的博客
08-08 2519
节点/组件/安装包版本备注名称节点master数据节点slave1数据节点slave2JDKjdk-8u281Java运行环境，Spark的运行需要JDK的支持Hadoop提供HDFS、Hive运行环境支持。HDFS系统访问端口为：hdfs://192.168.126.10:9000Hivehive-3.1.2数据仓库PySparkSpark集群的master节点的地址和端口为：spark://192.168.126.10:7077MySQL5.7.18。
彻底弄懂 HIVE 和 SPARK 中的 JOIN
半吊子Kyle的博客
03-02 2682
HIVE 和 SPARK 中的 JOINJOIN 的作用INNER JOIN（内连接）LEFT JOIN（左外连接 ｜ 左连接）RIGHT JOIN（右外连接 ｜ 右连接）FULL JOIN（完全连接 ｜ 完全外连接）CROSS JOIN（交叉连接 ｜ 笛卡尔积）SEMI JOIN（半连接）ANTI JOIN（反连接） 参考了以下文档： ① Spark 3.2.1 - JOIN ② JOIN 的作用 JOIN 用来将又关系的行进行关联 常见的 JOIN 类型有： [ INNER ] | CROSS | LE
Spark failed to delete temp directory
UncleTian的博客
01-17 2442
一，错误日志 17/05/02 11:56:57 INFO ShutdownHookManager: Deleting directory C:\Users\arpitbh\AppData\Local\Temp\spark-03f14dbe-1802-40ca-906c-af8de0f462f9 17/05/02 11:56:57 ERROR ShutdownHookManager: Except...
hadoop、spark使用问题汇总
lfx1997的博客
11-07 1109
在之前的集群搭建中，我安装的是pyspark库是3.5.0版本，降低为3.2.0版本（我的spark安装包为3.2.0），该问题解决。自己可以进入那个目录看一下，里面会多一些文件（spark-xxxxx-xxxx），可以手动删掉，对集群运行没有影响，如果一直存储这些文件，c盘会变满，再运行集群会有问题。（有办法的可以交流以下）这个错误对代码的运行没有影响，具体可行修改方法没有查到（有需要可以自己搜索）。
Spark 报错 Failed to delete: C:\Users\lvacz\AppData\Local\Temp\spark-*
终回首的博客
05-26 4475
一、问题 在win10，local模式执行完spark任务后不论是否可以执行出结果，都会报错： Failed to delete: C:\Users\lvacz\AppData\Local\Temp\spark-7921735f-07fa-45db-875e-5a6440eb7e79 部分日志： 21/05/26 13:01:34 WARN SparkEnv: Exception while deleting Spark temp dir: C:\Users\lvacz\AppData\Local\Temp
Spark源码学习笔记4-SparkEnv
lzy2014的专栏
04-30 2311
继3-LiveListenerBus之后，我们来看看SparkContext构造函数中初始化的SparkEnv
Spark运行在Standalone模式下产生的临时目录的问题
热门推荐
艾文
09-08 2万+
Spark 的Job任务在运行过程中产生大量的临时目录位置，导致某个分区磁盘写满，主要原因spark运行产生临时目录的默认路径/tmp/spark*
Spark 任务输出目录_temporary目录未删除问题排查
u013332124的专栏
05-29 5184
文章目录一、问题描述二、问题定位三、driver kill task的时间四、解决方案参考资料 一、问题描述 在hdfs上看到有个输出目录有_temporary目录，但任务实际已经结束了。 有_SUCCESS文件表示这个任务已经结束了。 二、问题定位 Spark 输出数据到 HDFS 时，需要解决如下问题： 由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文...
本地Spark连接Hive异常问题
狂奔的蜗牛
07-08 7280
环境：idea spark2.2 hive1.1 maven3 场景：本地运行Spark代码，连接Hive集群查询数据： 本地设置了SPARK_HOME、SCALA_HOME 将hive-site.xml复制到本地的%SPARK_HOME%/conf/路径下 代码如下： def main(args: Array[String]): Unit = { val wareho...
【解决】Spark运行时产生的临时目录的问题
04-30 1万+
[Author]: kwu -- spark执行时临时目录的配置
Hive on Spark EXPLAIN详解：解析Spark执行计划中的不同join类型
- **Common Join**：普通的Join操作在Hive中会被转换为一系列的MapReduce任务，但在Hive on Spark下，如果使用了Spark的执行引擎，这些Join可能会被优化为Spark的内联Join（in-memory join），从而减少网络通信和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值