​(三)hadoop之hive的搭建1

Linux上安装hadoop和hive 一.下载安装包 1.Hadoop包 http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/ 2.Hive包 https://mirrors.bfsu.edu.cn/apache/hive/hive-2.3.9/ 3.Hive的MySQL驱动 https://dev.mysql.com/downloads/file/?id=476197 4.安装java 安装java:yum install java-1.8.0-openjdk.x86_64 配置 阅读详情
  1. 下载

访问官方网站https://hive.apache.org/

点击downloads

图片

点击Download a release now!

图片

点击https://dlcdn.apache.org/hive/

图片

选择最新的稳定版

图片

复制最新的url

图片

在linux执行下载命令

wget  https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

2.解压

tar -zxvf apache-hive-3.1.3-bin.tar.gz

重命名

sudo mv apache-hive-3.1.3-bin apache-hive-3.1.3

移动到/usr/local

sudo mv apache-hive-3.1.3  /usr/local/apache-hive-3.1.3 

cd /usr/local/apache-hive-3.1.3

3.配置环境变量

在profile.d下新增配置文件hive_profile.sh

sudo vi /etc/profile.d/hive_profile.sh

内容如下

export HIVE_HOME=/usr/local/apache-hive-3.1.3

export PATH=$PATH:$HIVE_HOME/bin

图片

刷新环境变量

source /etc/profile

4.搭建mysql并在mysql中创建hive数据库

5.Hive元数据配置到MySQL

5.1上传mysql驱动mysql-connector-java-8.0.21.jar并移动到/usr/local/apache-hive-3.1.3/lib/

sudo mv /home/hadoop/mysql-connector-java-8.0.21.jar /usr/local/apache-hive-3.1.3/lib/

5.2在/usr/local/apache-hive-3.1.3/conf下新增hive-site.xml文件

sudo vi /usr/local/apache-hive-3.1.3/conf/hive-site.xml

内容如下

<configuration>

        <!– 数据库连接的URL –>

        <property>

           <name>javax.jdo.option.ConnectionURL</name>

           <value>jdbc:mysql://hadoop-master:3306/hive?useSSL=false</value>

        </property>

        <!– 数据库连接的Driver–>

        <property>

           <name>javax.jdo.option.ConnectionDriverName</name>

           <value>com.mysql.jdbc.Driver</value>

        </property>

        <!– 数据库连接的username–>

        <property>

           <name>javax.jdo.option.ConnectionUserName</name>

           <value>root</value>

        </property>

        <!– 数据库连接的password –>

        <property>

           <name>javax.jdo.option.ConnectionPassword</name>

           <value>1231233</value>

        </property>

        <!– Hive元数据存储版本的验证 –>

        <property>

           <name>hive.metastore.schema.verification</name>

           <value>false</value>

        </property>

        <!–元数据存储授权–>

        <property>

           <name>hive.metastore.event.db.notification.api.auth</name>

           <value>false</value>

        </property>

        <!– Hive默认在HDFS的工作目录 –>

        <property>

           <name>hive.metastore.warehouse.dir</name>

           <value>/user/hive/warehouse</value>

        </property>

</configuration>

5.3初始化Hive

schematool -initSchema -dbType mysql -verbose

6.启动Hive并测试

hive 

图片

查看数据库

show databases;

图片

查看表

show tables;

图片

Hadoop+Hive+Mysql环境搭建 1、了解 学习链接: http://hadoop.apache.org/ http://spark.apache.org/ http://hive.apache.org/ https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples 阅读详情

相关推荐

Hadoop+Hive环境的搭建

Hadoop+Hive环境的搭建,在这儿我就不一一介绍Hadoop和Hive了,直接进入正题1. 准备工作:Hadoop,Hive二进制文件下载路径,在这儿我只直接下载的编译好的二进制文件,这样我们直接解压就可以使用了(省去自己编译的过程),里面有很多下载路径。Hive:http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/(注意下载二进制包) Had

小龙 9004

rpm Header V3 DSA signature: NOKEY, key ID [number]错误解决

后面加上 --force --nodeps # rpm -ivh db4-devel-4.3.29-9.fc6.i386.rpm --force --nodeps 从 RPM 版本 4.1 开始,在安装或升级软件包时会检查软件包的签名。 1. 如果签名校验失败,你就会看到如下所示的错误消息: error: V3 DSA signature: BAD, key ID 0352860f ...

iteye_245的博客 496

Hadoop和Hive的安装配置

Hadoop和Hive的安装配置

大数据Hadoop之——部署hadoop+hive+Mysql环境(Linux)

-是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->

qq_41946216的博客 1万+

当AI学会自我验证:Chain-of-Verification如何杜绝错误决策?

2025年,大模型"幻觉"问题已成为企业落地AI的最大障碍之一——金融风控中1.2%的误判率可能导致千万级损失,医疗诊断中3%的错误可能危及生命,法律文书中5%的事实偏差可能引发合规风险。MetaAI与Google联合提出的**Chain-of-Verification(CoVe,验证链)**技术,让AI具备"自我审视"能力,通过结构化验证流程将幻觉率降低68%+,在复杂决策场景准确率提升至95%+。本文系统拆解CoVe的技术原理、实施路径与行业实战,为企业提供AI决策可靠性保障的完整方案。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1081

在LinuxMint 22.1(Ubuntu24.04)上安装使用同花顺远航版

Linux用户成功在LinuxMint22.1系统上通过Wine9.0运行同花顺远航版,解决了长期困扰的股票行情软件问题。此前Linux原生版同花顺功能简陋且停止更新,Wine版通达信存在显示问题。作者作为自由软件支持者,通过调整Wine配置文件解决了高分屏显示异常问题,实现了远航版的正常使用。期待同花顺能重启Linux原生版开发,支持更多处理器架构,完善国产软件生态。该方案为Linux股票软件用户提供了实用参考。

5135

Linux系统上安装JDK、Hive和Hadoop

Linux系统上安装JDK、Hive和Hadoop的完整教程

qq_44577699的博客 308

海思Hi3516CV610--SPI NAND Flash移植实战:从手册到驱动的完整适配

本文详细介绍了海思Hi3516CV610芯片上SPI NAND Flash的移植实战,包括从手册解读到驱动适配的完整流程。以GD5F2GM7UEYIGR Flash为例,重点讲解了关键参数确认、模式选择、时序配置以及U-Boot和Linux内核驱动的具体实现步骤,帮助开发者快速完成Flash移植工作。

weixin_29158413的博客 447

Hive3.1.3集群安装

hive hive3.1.3集群 mysql

FLY的博客 2382

QGC二次开发实战指南(一):从零构建自定义地面站界面

本文详细介绍了QGC二次开发实战指南,从零开始构建自定义地面站界面。通过QT和QML技术结合MAVLINK协议,开发者可以打造适合特定业务场景的无人机监控系统,提升操作效率与用户体验。文章包含环境搭建、界面设计、数据绑定等完整开发流程,是QGC二次开发的实用教程。

weixin_28693683的博客 496

IgH EtherCAT 从入门到精通:第 2 章 环境搭建与编译安装

环境搭建与编译安装指南 本章详细介绍了搭建IgH EtherCAT Master开发环境的完整流程。内容包括: 硬件要求:支持多种Intel和Realtek网卡的原生驱动,以及通用网卡的generic驱动选项 软件依赖:列出Linux系统下所需的工具链和开发包 源码获取:通过Git克隆官方仓库并切换稳定版本的方法 配置选项:详细解析bootstrap脚本和configure的核心参数,包括路径设置、功能开关和实时框架选项 编译流程:从生成构建系统到最终编译安装的完整步骤 通过本章指导,读者可以完成一个可运行

从事嵌入式linux android驱动开发,拥有全栈能力 479

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive) Hive配置MySQL,配置常见问题。

中国风 7612

请尽可能地详细说明一个VLA项目的立项训练到落地的全流程

一个机器人VLA项目的全流程是一个复杂的系统工程,它深度融合了机器人学 (Robotics)计算机视觉 (CV)和自然语言处理 (NLP)。其核心挑战在于高质量数据的获取和从仿真到现实的有效迁移。与纯粹的软件AI项目相比,它增加了硬件、物理交互和安全性的维度,但其最终能让AI走出虚拟世界、在物理世界中产生实际价值,这也是其巨大的魅力所在。

具身机器人和通用AI 303

hadoop 2.7.3 mysql_搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive)(三)

续上一篇:准备工作下载最新连接器地址例子:下载mysql-connector-java-5.1.41.tar1、解压连接器connector文件1.1、解压[root@localhost Software]# tar xzfmysql-connector-java-5.1.41.tar.gz[root@localhost Software]# cd mysql-connector-java-5...

weixin_39655362的博客 187

SerDes系列之如何选择AC耦合电容

交流耦合电容用于隔离PCB互连时的直流分量(Common-mode voltage),同时传递交流分量(Voltage swing),其作用类似于一个高通滤波器,但是,如果电容容值选取不当,使用过程中会产生信号质量问题,典型的应用场景:当包含相同的长串1或0的NRZ数据应用于该高通滤波器时,会发生低频电压跌落,导致低频模式相关抖动(PDJ)。

一只豌豆象的博客 2351

华为OD机试真题 新系统【进制转换后自定义排序】

华为OD机试 新系统真题【进制转换后自定义排序】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【进制转换后自定义排序】多语言题解。

qq_45776114的博客 595

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive)(三)

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34075551的博客 117

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hadoop 2.7.3 mysql_搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二)准备工作下载最新连接器地址https://dev.mysql.com/downloads/connector/j/例子:下载mysql-connector-java-5.1.41.tar1、解压连接器connector文件1.1、解压[[emailprotected] Software]# t...

weixin_30125497的博客 211

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

hive+mysql+速度_搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

准备工作下载最新连接器地址例子:下载mysql-connector-java-5.1.41.tar1、解压连接器connector文件1.1、解压[[emailprotected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz[[emailprotected] Software]# cd mysql-connector-java-5....

weixin_32512451的博客 243

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

CentOS7-Hive远程搭建

一、准备工作: 搭建要求:一主三从的Centos7环境的虚拟机 部署安排:选取master节点为客户端,slave为hive端,slave2为MySQL端 二、master节点操作: 1. 作者的用的hive版本是1.8.0版本。hadoop用的是2.7.3版本,小伙伴们在做的时候要考虑各个组件的版本问题,不冲突就好.(如果嫌名字太长可以换个名字) [root@master software]# tar apache-hive-2.1.1-bin.tar.gz -C /usr/local/

zzp28218的博客 1586

hadoop集群搭建+hive安装

hadoop集群搭建及hive安装

WHY的博客 5303

基于Docker搭建Hadoop+Hive

为配合生产hadoop使用,在本地搭建测试环境,使用docker环境实现(主要是省事~),拉取阿里云已有hadoop镜像基础上,安装hive组件,参考下面两个专栏文章: 克里斯:基于 Docker 构建 Hadoop 平台docker上从零开始搭建hadoop和hive环境 由于hadoop与hive等存在版本兼容问题,安装前可以先通过官网确认版本兼容情况: http://hive.apache.org/downloads.html 本次使用的各版本配置如下: Docker 19.03.8 JD

There is no one l would rather be than me 3270

Hadoop集群+Hive+MySQL搭建

** Hadoop集群+Hive+MySQL搭建 ** 1.集群规划 集群节点分配: 主机名 主机IP master 192.168.100.100 slave1 192.168.100.101 slave2 192.168.100.102 slave3 192.168.100.103 软件版本: 软件名称 版本号 Java 1.8.0_152 ...

baidu_36414377的博客 9035
上一篇: (二)hadoop搭建
下一篇: ​(四)hive的搭建2
调试大师
博客等级 码龄3年 2340粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

调试大师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值