搭建hive-2.3.9与spark2.0.0搭建及spark2.0.0下载

最新推荐文章于 2024-07-21 01:10:04 发布
原创 最新推荐文章于 2024-07-21 01:10:04 发布 · 703 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #big data

博客讲述了作者在配置Hive-2.3.9时遇到与Spark-3.0.0不兼容的问题，根据网上建议，改用Spark-2.0.0后集群恢复正常运行。提供了Spark-2.0.0的下载链接和提取码。

1：hive与spark对应关系
在这里插入图片描述
之前在hive-2.3.9安装配套的是spark-3.0.0，发现会有报错，按照网上的说话我的hive版本对应的应该是spark2.0.0。于是重新安装之后，集群正常使用。
2:spark-2.0.0下载链接：https://pan.baidu.com/s/1XD1u_KMAMjizzVKcWMirsQ
提取码：n3q3

tutouxiaocaiji
关注
Spark_2.0.0安装配置文档
shieh的专栏
08-12 6474
Spark安装指南        该文档是建立在已经安装好hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。 1      下载安装包 从http://www.scala-lang.org/files/archive/scala-2.11.8.tgz 获取scala安装包， 从http
Apache Spark 2.0.2 中文官方文档
02-05
关于学习 Spark 的部分，英文好点的话，跟着 Spark 官方文档的英文版走就行了。 如果英语不是很好，可以阅读下由 ApacheCN 组织翻译的 Spark 2.2.0 官方文档中文版。 从概述开始，然后编程指南的快速入门，Spark 编程指南，Spark streaming 一步一步往下走。 文档中附带了一些基础的案例，也附带了相应的代码，可用于基础性学习，一开始不要急着写代码，先看文档，一些基本的概念懂了之后，再开始试着慢慢的写代码，即可入门 。。。 当然，学习 Spark 时最好还是有一些前置技能比较好，比如使用过 Storm 之类的，就更容易上手了。 欢迎提出任何建议，更欢迎加入我们一起来学习，go far，go together.
spark-2.0.0.tgz
02-20
spark源码下载，官网下载慢的来这里下载哦
Spark2.0.2 安装包
02-24
spark安装包，亲测有效。
Apache Spark 2.0正式版发布下载
博客
07-28 732
原文：Introducing Apache Spark 2.0 作者： Reynold Xin、Michael Armbrust和Matei Zaharia 译者：孙薇 责编：郭芮，优快云编辑，关注大数据领域，另有优快云 Spark用户微信群，请添加微信guorui_1118并备注实名+公司+职位申请入群。 以下为Databricks官网的发布新闻稿翻译：我们很荣幸地宣...
spark2.0.0发布
我是一个小学生
07-28 726
2016年07月26日  spark2.0.0发布 官网上说： 我们是很高兴的宣布这spark2.0.0是可以使用,了解发行此版本的说明和了解新的功能,并且你也是可以下载使用这个版本！ 我们读官网上的说明了解到： 它是2.x版本线上的第一个版本。 主要的更新是API可用性   SQL2003的支持   性能提升        structured streaming   R中支持UD
Spark2.0.0 Install And Examples
crazy_stone0002的博客
08-01 186
1.Scala 2.11.8 下载解压 [root@sht-sgmhadoopnn-01 hadoop]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2...
hive on spark
欢迎大神交流讨论
12-08 479
前置准备 CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive 首先先配置maven Index of /dist/maven/maven-3 下载maven我下的是3.6.0版本 至少要3.1.3以上才能编译 同样解压到soft目录下 配置环境变量 spark底层用的还是scala代码 所以顺便装上了scala 后来好像用不到scala所以可以不用装 vi /etc/profile .
Spark -2：下载安装
sun
01-19 4697
下载地址 http://spark.apache.org/downloads.html 1.选择一个spark版本 2.选择依赖的Hadoop版本 3.选择下载镜像 spark会根据选择条件生成相应版本包，可以直接下载 注意：从2.0开始，Spark是默认使用Scala 2.11构建的。 Scala 2.10用户应该下载Spark源码
Spark伪分布安装（依赖Hadoop）
marho
08-24 6904
一、伪分布安装Spark 安装环境： Ubuntu 14.04 LTS 64位+Hadoop2.7.2+Spark2.0.0+jdk1.7.0_76 1、安装jdk1.7 （1）下载jdk-7u76-linux-x64.tar.gz； （2）解压jdk-7u76-linux-x64.tar.gz，并将其移动到/opt/java/jdk路径下（自建）； 命令：tar -zxvf jdk-
apache-hive-2.0.0-bin.tar
05-14
apache-hive-2.0.0-bin.tar
spark-2.0.2客户端
11-20
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark 是一种与 Hadoop 相似的开源集群计算环境,尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行
CDH 6.3.2 升级Hive 2.3.9
Aidon博客
02-17 1797
CDH升级Hive！！！升级缘由如下： DolphinScheduler 3.1.1安装好后，其源码中集成的是Hive 2.1.1，版本太低，当在数据中心连接Hive数据源时报错，所以升级Hive为CDH 6.3.2自带的Hive为2.3.9版本。
Hive源码解析环境搭建 version：2.3.9
最新发布
hxsln11的博客
07-21 383
当我们配置好Name、Host、Port后，点击debug，则此时会连接localhost的8000端口，真正开启 hive cli，对应的源码入口是 org.apache.hadoop.hive.cli.CliDriver#main，待hive cli启动成功后，可以输入hql进行代码调试了。hive本地环境搭建：https://qingzhongli.com/hive-source-read-local-env-setup/2.2 配置hive，前提是其他环境已经配置好。参考安装hive博客。
Spark 安装配置及下载地址
软件手的博客
02-05 5864
使用安装包版本： spark-2.0.0-bin-hadoop2.6 下载地址 https://spark.apache.org/ Spark概述 Apache Spark是一个快速的通用集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。 一、安装 1、解压 [root@master app] # tar -zxvf spark-2.0.0-b...
Hive2.3.9配置与安装
yyyyy666_111的博客
06-27 1369
将当前路径切换到hive的配置文件路径：cd $HIVE_HOME/conf（如果直接执行进不去这个目录，可以先进入主目录 cd /usr/local，再切换到conf目录。6.Driver上交plan给执行器去执行，获取元数据信息，提交给JobTracker或者ResourceManager去处理该任务，任务会直接读取HDFS中文件进行相应的操作。下载hive2.3.9的安装包（apache-hive-2.3.9-bin.tar.gz），点击下面的链接下载自己需要的版本。
spark安装
bingcore的博客
06-02 458
1.下载spark安装包 下载地址spark官网：http://spark.apache.org/downloads.html 这里我们使用 spark-2.1.3-bin-hadoop2.7版本. 2.上传压缩包并解压 这里我们上传到第一台机子 /export/servers 目录下，并执行以下命令： tar -zxvf spark-2.1.3-bin-hadoop2.7.tgz 3.修改配置文件 修改spark-env.sh cd /export/servers/spark-2.1.3-bin-had
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值