Hive单机安装（元数据采用derby）

最新推荐文章于 2024-11-08 21:35:55 发布
最新推荐文章于 2024-11-08 21:35:55 发布
阅读量613 收藏
点赞数
分类专栏： Linux Hadoop 文章标签： hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/alert_Java_Song/article/details/79488835
版权
本文详细介绍如何在Linux环境下下载并安装Hive 2.0.1版本, 包括环境变量配置、配置文件修改及数据库初始化等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、下载hive源文件

      https://archive.apache.org/dist/hive/hive-2.0.1/


2、通过FTP将hive源文件上传到Linux服务器


3、解压缩

      tar -zxvf apache-hive-2.0.1-bin.tar.gz


4、重命名

     mv apache-hive-2.0.1-bin hive


5、配置环境变量

     export HIVE_HOME=/usr/local/software/hive

     export PATH=$PATH:$HIVE_HOME/bin


6、修改配置文件

     cd $HIVE_HOME/conf

     vi hive-site.xml


7、在hive-site.xml中添加如下内容

     


8、初始化数据库

     schematool  -initSchema –dbType –derby

    


9、启动程序

      mkdir –p /usr/local/software/hive/warehouse
      chmod a+rwx /usr/local/software/hive/warehouse
      cd bin
      hive




Centos Linux 单机安装 Hive 、使用 Hive
寒水馨
11-21 2564
Centos Linux 单机安装 Hive 、使用 Hive、beeline 连接 hive、DBeaver 连接 hive、数据仓库、hive
基于单机hdfs安装hive
congge
01-17 4678
基于单机hdfs安装hive
Linux自动安装Hive（单机，含安装MySQL）（Shell脚本）
12-04
要自己先安装jdk和Hadoop，也可以去这里https://download.youkuaiyun.com/download/weixin_44033210/12657718，https://download.youkuaiyun.com/download/weixin_44033210/12657738，这里有自动安装jdk和Hadoop的脚本
Hive的安装 ------ hive的单机安装（使用derby做元数据存储）
Z_Data的博客
11-11 427
安装包准备 将hive安装包 apache-hive-1.2.1-bin.tar.gz 上传到虚拟机/bigdata/下 JDK安装包 jdk-8u151-x64.gz 集群的准备（min1,min2,min3） hive的解压安装 将上传的hive解压缩至虚拟机/app目录下 tar -zxvf /app/apache-hive-1.2.1-bin.tar.g...
Hive单机版安装
三暮辰的博客
10-09 518
重新换了台电脑，又不想移动原来的虚拟机，所以重新部署了一下Hadoop环境 生态安装hive 一、下载 直接官网下载3.0以上版本 二、解压 tar -zvxf apache-hive-3.1.2-bin.tar 三、修改配置文件 进入安装的conf目录 cp hive-env.sh.template hive-env.sh 修改(添加)Hadoop路径 HADOOP_HOME=/usr/app/hadoop 新建 hive-site.xml 文件，内容为: <?xml version="
Hive学习——单机版Hive的安装
雷神乐乐的博客
02-16 2775
Hive学习——单机版Hive的安装
单机版安装使用Hive
liuyongsheng666的博客
11-09 1445
1、解压hive压缩包 tar -zxf ./hive-1.1.0-cdh5.14.2.tar.gz -C /opt/soft/ 2、修改减压后的文件名 mv hive-1.1.0-cdh5.14.2/ hive110 3、在hive110/conf下创建hive-site.xml文件 touch hive-site.xml [root@gree139 conf]# vi ./hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone=.
入门篇：从零到一搭建大数据开发平台（五）Hive安装部署教程(derby单机版不推荐 强烈推荐集群式)
小蜜蜂博客
03-21 533
环境： VMware15.5Pro【安装传送门】 CentOS6.9【安装传送门】 JKD1.8【安装传送门】 Hadoop2.6-CDH5.15【安装传送门】 一、derby单机版（了解即可不推荐学习） 1、上传安装包和mysql连接包 到指定目录 2、解压安装包 tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../serve...
大数据教程-Hive的安装与配置.pdf
07-26
6. Hive的配置包括设置Hive Metastore服务，它负责管理Hive数据库的元数据信息。Metastore可以配置为使用内嵌的Derby数据库或者MySQL、PostgreSQL这样的外部数据库。如果选择MySQL，需要进行连接配置并初始化数据库...
hive安装
m0_73469590的博客
02-20 474
hive安装
HIVE安装及详解
10-14
HIVE安装及详解，及测试，该文档版本是1.2+的。。。。。
hive的元数据Derby，命令行工具 beeline
now
01-19 382
安装mysql用于存储hive的元数据 Hive默认数据库类型Derby hive 默认使用Derby作为Hive metastore的存储数据库，这个数据库更多用于单元测试，只支持一个用户访问，在生产环境，建议改成功能更强大的关系型数据库，根据官网的介绍，支持用于存储hive元数据的数据库如下： hive元数据支持的数据库 最低版本要求 MySQL 5.6.17 Postgres 9.1.13 Oracle 11g MS SQL Server 2008.
hive安装配置（单机版）
qq_44273296的博客
08-13 384
hive安装配置 Title： hive安装配置 Author：liguangman Email： 2990244047@qq.com（qq邮箱一出现瞬间low到爆） 安装元数据服务(mysql) rpm -qa | grep mariadb rpm -e mariadb-libs-5.5.35-3.el7.x86_64 --nodeps rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm rpm -ivh mysql-community-l
Hive虚拟机单机版安装教程
mouse_001的博客
03-07 753
hive单机安装教程确保以下环境已安装下载并解压apache-hive-3.1.2-bin.tar.gz，(此处解压到/opt目录下)配置环境变量更新环境变量进入hive下conf目录，新增配置文件hive-site.xml添加如下配置进入hive-env.sh配置文件（本机hadoop、hive路径为/opt/）文件配置内容添加mysql对应的jar驱动包到hive目录下的lib目录下启动MySQL启动hadoop（hdfs与yarn）启动hive 确保以下环境已安装 Hadoop Jdk MySQL
安装Hive（单机）
IreneByron的博客
03-21 245
安装Hive（单机） 环境：macOS 安装Hadoop 如果环境已有Hadoop，可忽略。 下载hadoop-3.3.0.tar.gz ，放到要安装的目录 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 解压 tar -zxvf hadoop-3.3.0.tar.gz 添加环境变量 vim ~/.bash_profile # hadoop export HADOOP_HOME=/software/hadoop-
Hive安装（单机Hadoop102）
qq_39143103的博客
06-11 333
hive单机安装
Hive单节点安装部署
qzq021226的博客
11-08 824
解决方案：nohup hive --service metastore &1、等着，等hadoop日志和快照数据恢复完毕，自动离开安全模式。解决方案：启动hadoop。可以去华为云镜像站中下载。2、使用命令强制离开。
Hive单机版安装部署
不会心跳的博客
06-05 1424
在根目录下建立software文件夹：mkdir software。进入/software/hadoop/etc/hadoop文件夹。保存退出，使文件生效：source /etc/profile。保存退出，生效：source /etc/profile。进入配置文件夹：/software/hive/conf。打开配置文件：vi /etc/profile。打开配置文件：vi /etc/profile。文件夹改名：mv 源文件夹名 目标文件夹名。输入show databases;
hive的元数据
最新发布
04-12
### Hive元数据存储结构 Hive元数据是Hive数据仓库的核心部分之一，用于描述数据的逻辑和物理特性。其主要功能包括定义数据库、表、分区、列以及其他相关属性的信息[^1]。这些元数据通常被存储在一个外部的关系型数据库管理系统（RDBMS）中，并由Metastore服务负责管理和访问。 #### 数据库与表的定义 Hive中的元数据包含了多个层次的数据对象定义： - **数据库**：类似于传统关系型数据库的概念，用来组织不同的命名空间。 - **表**：表示具体的数据集合，包含表名、所属数据库、字段列表等基本信息。 - **分区**：为了优化查询效率而引入的一种机制，允许按照某些维度分割大表成更小的部分。 - **列**：每一列都有自己的名称、类型和其他附加参数说明。 此外还有关于文件格式、压缩编码方案等方面的内容也属于元数据范畴之内[^2]。 ### 元数据管理方式 目前主流的支持方法如下： 1. **嵌入式模式**: 默认情况下,Hive 使用 Derby SQL 轻量级单机版作为内部默认实现形式,适合小型应用测试环境. 2. **远程独立部署的服务化架构(Metastore)**: 当集群规模扩大时推荐切换至此选项; 它可以单独运行作为一个进程并与客户端通信完成操作请求处理流程. 3. **第三方工具集成**, 如 Apache Atlas 提供血缘追踪等功能扩展支持[^2]. 特别值得注意的是，在实际生产环境中往往会选择像 MySQL 这样的强大 RDBMS 来承载整个系统的持久层需求[^3]. 以下是将 Hive 的 Metastore 存储迁移到 MySQL 上的一个典型配置过程概述: ```bash # 创建一个新的名为 'hive' 的 schema 并赋予相应权限给指定用户账户; CREATE DATABASE hive CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; GRANT ALL PRIVILEGES ON hive.* TO 'hive_user'@'%' IDENTIFIED BY '<password>'; FLUSH PRIVILEGES; # 把 mysql-connector-java-x.x.xx.jar 文件复制到 $HIVE_HOME/lib 下面去； cp /path/to/mysql-connector-java*.jar ${HIVE_HOME}/lib/ # 修改 guava 版本使之匹配 hadoop 所需版本号 (如果存在冲突的话); mvn dependency:tree | grep guava # 查看当前使用的 Guava 库版本信息 rm lib/guava-old-version.jar && ln -s new-guava-jar-file-path ./lib/ # 编辑或者创建新的 site xml 配置文档以启用自定义设置项: <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value> </property> <!-- Other properties omitted --> </configuration> # 启动 schematool 工具初始化目标 DB 结构布局并验证连接状态正常与否: ${HIVE_HOME}/bin/schematool -dbType mysql -initSchema ``` 以上脚本展示了如何把现有的 Hive 设置调整为利用外部托管解决方案保存关联记录的过程概览[^3]。 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值