搭建hive-2.3.9与spark2.0.0搭建及spark2.0.0下载

最新推荐文章于 2024-05-02 17:50:18 发布
原创 最新推荐文章于 2024-05-02 17:50:18 发布 · 679 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #big data

博客讲述了作者在配置Hive-2.3.9时遇到与Spark-3.0.0不兼容的问题，根据网上建议，改用Spark-2.0.0后集群恢复正常运行。提供了Spark-2.0.0的下载链接和提取码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1：hive与spark对应关系
在这里插入图片描述
之前在hive-2.3.9安装配套的是spark-3.0.0，发现会有报错，按照网上的说话我的hive版本对应的应该是spark2.0.0。于是重新安装之后，集群正常使用。
2:spark-2.0.0下载链接：https://pan.baidu.com/s/1XD1u_KMAMjizzVKcWMirsQ
提取码：n3q3

tutouxiaocaiji
关注
Hive On Spark2.0.0 搭建
Dzhantao的博客
07-17 2935
      Hive作为Hadoop家族成员中一份子，在现在的离线数据分析中的重要性已经不用多说。但是众所周知，hive是以MR程序跑在YARN集群上的，这其中的酸爽，想必用过的都说好了。随着技术的进步，Hive的开发者也已经意识到了MR的效率已经不能满足很多的日常需求，所以从hive二代开始，尝试着用spark引擎来替换掉MR，到现在为止，已经hive已经能支持几个版本的spark了。好了，下面...
hive on spark
欢迎大神交流讨论
12-08 436
前置准备 CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive 首先先配置maven Index of /dist/maven/maven-3 下载maven我下的是3.6.0版本 至少要3.1.3以上才能编译 同样解压到soft目录下 配置环境变量 spark底层用的还是scala代码 所以顺便装上了scala 后来好像用不到scala所以可以不用装 vi /etc/profile .
Hive2.3.9配置与安装
yyyyy666_111的博客
06-27 1184
将当前路径切换到hive的配置文件路径：cd $HIVE_HOME/conf（如果直接执行进不去这个目录，可以先进入主目录 cd /usr/local，再切换到conf目录。6.Driver上交plan给执行器去执行，获取元数据信息，提交给JobTracker或者ResourceManager去处理该任务，任务会直接读取HDFS中文件进行相应的操作。下载hive2.3.9的安装包（apache-hive-2.3.9-bin.tar.gz），点击下面的链接下载自己需要的版本。
spark-2.0.0.tgz
02-20
spark源码下载，官网下载慢的来这里下载哦
Apache Spark 2.0正式版发布下载
博客
07-28 710
原文：Introducing Apache Spark 2.0 作者： Reynold Xin、Michael Armbrust和Matei Zaharia 译者：孙薇 责编：郭芮，优快云编辑，关注大数据领域，另有优快云 Spark用户微信群，请添加微信guorui_1118并备注实名+公司+职位申请入群。 以下为Databricks官网的发布新闻稿翻译：我们很荣幸地宣...
Spark2.0.2 安装包
02-24
spark安装包，亲测有效。
spark2.0.0发布
我是一个小学生
07-28 707
2016年07月26日  spark2.0.0发布 官网上说： 我们是很高兴的宣布这spark2.0.0是可以使用,了解发行此版本的说明和了解新的功能,并且你也是可以下载使用这个版本！ 我们读官网上的说明了解到： 它是2.x版本线上的第一个版本。 主要的更新是API可用性   SQL2003的支持   性能提升        structured streaming   R中支持UD
hive安装
最新发布
m0_75210269的博客
05-02 862
注意：将里面的路径改成自己的，还有在<数据库连接地址配置>中先查看自己数据库的端口号是多少，在<数据库访问密码>中设置自己的密码。添加 /tmp 和 /user/hive/warehouse 并且修改权限。且可发现在Navicat premium的hive数据库中出现了内容。2.path中增加：%HIVE_HOME%\bin。1.hive环境变量配置：（不可以有空格）hive的版本需与hadoop版本相匹配！可以用hive2.0.0版本的，文件地址见上面。里面的路径更改为自己的。
Hive 整合 Spark 全教程 （Hive on Spark）
热门推荐
weixin_45417821的博客
03-27 1万+
文章目录Hive 引擎简介环境配置 （ssh已经搭好）JDK准备Hadoop准备部署配置集群配置历史服务器配置日志的聚集启动集群LZO压缩配置Hadoop 3.x 端口号 总结MySQL准备Hive 准备Spark 准备Hive on Spark 配置Hive on Spark测试 Hive 引擎简介 Hive 引擎包括：默认 MR、tez、spark 最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带 Hive on Tez 配置：https://blog.csdn.net/we
Apache Spark 2.0.2 中文官方文档
02-05
关于学习 Spark 的部分，英文好点的话，跟着 Spark 官方文档的英文版走就行了。 如果英语不是很好，可以阅读下由 ApacheCN 组织翻译的 Spark 2.2.0 官方文档中文版。 从概述开始，然后编程指南的快速入门，Spark 编程指南，Spark streaming 一步一步往下走。 文档中附带了一些基础的案例，也附带了相应的代码，可用于基础性学习，一开始不要急着写代码，先看文档，一些基本的概念懂了之后，再开始试着慢慢的写代码，即可入门 。。。 当然，学习 Spark 时最好还是有一些前置技能比较好，比如使用过 Storm 之类的，就更容易上手了。 欢迎提出任何建议，更欢迎加入我们一起来学习，go far，go together.
apache-hive-2.0.0-bin.tar
05-14
apache-hive-2.0.0-bin.tar
spark-2.0.2客户端
11-20
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark 是一种与 Hadoop 相似的开源集群计算环境,尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行
HiveonSpark配置 Maven+spark编译+Hive配置
u014552259的博客
06-25 2077
一 实验说明 本实验主要完成Hvie on Spark的配置，主要内容包含maven配置、编译spark源码 spark配置 hive配置 二 配置步骤 一、maven配置 编译spark源码需要使用maven，我们先来配置一下maven环境。 第一步：下载maven安装包 编译spark建议使用maven3环境，下载连接为http://maven.apache.org/download.cgi，点击图中红框中的内容即可下载。 第二步、安装 下载完成后将maven安装包上传到Linux系统，我这里上传到了
Spark2.0.0 Install And Examples
crazy_stone0002的博客
08-01 176
1.Scala 2.11.8 下载解压 [root@sht-sgmhadoopnn-01 hadoop]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2...
Spark -2：下载安装
sun
01-19 4514
下载地址 http://spark.apache.org/downloads.html 1.选择一个spark版本 2.选择依赖的Hadoop版本 3.选择下载镜像 spark会根据选择条件生成相应版本包，可以直接下载 注意：从2.0开始，Spark是默认使用Scala 2.11构建的。 Scala 2.10用户应该下载Spark源码
Spark_2.0.0安装配置文档
shieh的专栏
08-12 6440
Spark安装指南        该文档是建立在已经安装好hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。 1      下载安装包 从http://www.scala-lang.org/files/archive/scala-2.11.8.tgz 获取scala安装包， 从http
Spark伪分布安装（依赖Hadoop）
marho
08-24 6855
一、伪分布安装Spark 安装环境： Ubuntu 14.04 LTS 64位+Hadoop2.7.2+Spark2.0.0+jdk1.7.0_76 1、安装jdk1.7 （1）下载jdk-7u76-linux-x64.tar.gz； （2）解压jdk-7u76-linux-x64.tar.gz，并将其移动到/opt/java/jdk路径下（自建）； 命令：tar -zxvf jdk-
配置Hive on Spark的Spark 2.0.0安装包
- 文件名称“spark-2.0.0-bin-hadoop2-without-hive”表明了包内包含的内容，即Spark 2.0.0版本的二进制分发包，兼容Hadoop 2版本，但不包含Hive支持。 2. **文件名与版本控制**： - 该文件名称的使用有助于自动...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值