Hive单机安装(元数据采用derby)

Hive在hadoop集群中的搭建 hive的安装、部署 ,mysql的安装,hive元数据存储到MySQL,配置文件的修改,hive启动停止脚本的编写 阅读详情

1、下载hive源文件

      https://archive.apache.org/dist/hive/hive-2.0.1/


2、通过FTP将hive源文件上传到Linux服务器


3、解压缩

      tar -zxvf apache-hive-2.0.1-bin.tar.gz


4、重命名

     mv apache-hive-2.0.1-bin hive


5、配置环境变量

     export HIVE_HOME=/usr/local/software/hive

     export PATH=$PATH:$HIVE_HOME/bin


6、修改配置文件

     cd $HIVE_HOME/conf

     vi hive-site.xml


7、在hive-site.xml中添加如下内容

     


8、初始化数据库

     schematool  -initSchema –dbType –derby

    


9、启动程序

      mkdir –p /usr/local/software/hive/warehouse
      chmod a+rwx /usr/local/software/hive/warehouse
      cd bin
      hive




linux环境下快速搭建单机版本hive 1 无法修改表结构,新版本的hive加上该参数 set hive.metastore.disallow.incompatible.col.type.changes = false 2 分桶表纪要 clustered by (f1) sorted by (f1) into 10 buckets;会根据f1计算出id,写入对应的分桶中;根据sorted by对桶对的数据进行排序 hash_function(bucketing_column) mod num_buckets 2.x之前需要指定set h 阅读详情

相关推荐

Hive元数据存储选型避坑指南:从内置Derby到外置MySQL,生产环境配置与迁移实战

本文详细解析了Hive元数据存储选型的关键因素,对比了Derby与MySQL在生产环境中的性能差异,并提供了从Derby迁移到MySQL的完整实战指南。通过优化配置、高可用架构和监控方案,帮助用户避免常见陷阱,提升Hive Metastore的稳定性和扩展性。

weixin_26968079的博客 184

Hive的安装与使用(内嵌模式derby+将Hive的元数据配置到MySQL)配置hive的远程访问,实现多客户端访问安全机制

Hive的安装与使用:使用hive内置的关系型数据库(derby)来存储元数据,将hive元数据配置到MySQL,实现外部访问。

m0_58046550的博客 3400

教你如何阅读Autosar代码(6):常量变量定义

编译器抽象应该为常量的声明和定义定义CONST宏。编译器抽象应该定义VAR宏来声明和定义变量。memclass:常量本身的分类;memclass:变量本身的分类;vartype:变量的类型;type:常量的类型;

wdconan001的博客 958

入门篇:从零到一搭建大数据开发平台(五)Hive安装部署教程(derby单机版不推荐 强烈推荐集群式)

环境: VMware15.5Pro【安装传送门】 CentOS6.9【安装传送门】 JKD1.8【安装传送门】 Hadoop2.6-CDH5.15【安装传送门】 一、derby单机版(了解即可不推荐学习) 1、上传安装包和mysql连接包 到指定目录 2、解压安装包 tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../serve...

小蜜蜂博客 629

cefsharp139-H264-X86升级测试(MP4)-支持PDF预览-chromium7258定制浏览器

CEFSharp 139.x版本升级测试已完成,该版本支持64位系统(需选择x86架构)及WinForms.NETCore(.NET8)。升级内容包括H264文件编译支持Mp4播放,并覆盖WPF、WinForms等平台。文中提供了版本替换方法及不同系统的版本建议(如Win10/11推荐111/133/134/139版)。此外,文章还列举了CEFSharp的多种应用场景,包括浏览器开发、B/S系统封装、资源抓取等,同时指出当前版本均需自行编译以支持MP4播放。详细图文说明及旧版链接已附在正文中。

无线智能模块 可视DIY智能专家 1311

华为OD新系统真题-最小极差分组(C/C++/Py/Java/Js/Go)

华为OD机试 新系统真题【最小极差分组】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【最小极差分组】多语言题解。

qq_45776114的博客 596

Hive数据库:嵌入、本地、远程全攻略(上)

Hive数据库:嵌入、本地、远程全攻略

Five的博客 1460

11、气动外形优化中的连续伴随方法

本文探讨了连续伴随方法在气动外形优化中的理论背景、实现和验证过程。通过使用DLR的FLOWer求解器,将伴随方法应用于Euler和Navier-Stokes方程,以高效计算成本函数梯度,从而显著减少优化过程中的计算成本。文章还介绍了该方法在RAE2822翼型和ONERA M6机翼等案例中的应用,并展示了其准确性和效率。未来展望包括扩展到复杂流动模拟和多学科优化。

desk3的博客 169

Hive(1)--本地derby安装与配置

Hive–本地derby安装和配置 一、Hive安装地址 1.Hive官网地址 http://hive.apache.org/ 2.文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3.下载地址 http://archive.apache.org/dist/hive/ 4.github地址 https://...

Mr_huang的博客 1010

【异常】安装hermes-agent时Git克隆大仓库报错:error: RPC failed; curl 92 HTTP/2 stream 5 was not closed cleanly: CAN

摘要:本文分析了Ubuntu服务器执行Git递归克隆时出现的网络传输中断错误(HTTP/2流异常关闭、数据截断)。主要原因是网络限制、协议兼容问题和缓冲区不足。提供了四种解决方案:1)扩大Git HTTP缓冲区;2)切换为HTTP/1.1协议;3)采用浅克隆+分步拉取子模块;4)网络优化措施。重点推荐浅克隆分步拉取作为最有效方案,所有方法无需重启即可生效,可快速解决大仓库递归克隆失败问题。

奶爸的编程之路,也就一周冷个三天 671

AUTOSAR从入门到精通-复杂设备驱动(CDD)

CDD是复杂设备驱动的首字母缩写主要为驱动程序或复杂驱动程序,但不限于驱动程序。复杂驱动程序是一种未被AUTOSAR标准化的软件实体,可以通过AUTOSAR接口和/或基本软件模块api访问。 CDD是位于基础软件复杂驱动层的特定模块,与标准BSW模块或Rte交互。 CDD可能需要与分层软件体系结构的模块连接 分层软件架构的模块可能需要连接到CDD CDD可能需要通过Rte连接swc。

getusushu的博客 4203

Hive3 单机版(含Derby 多用户及Spark on Hive)

Hive3 单机版(含Derby 多用户及Spark on Hive)

yoshubom的专栏 1898

查找【优快云】- 人工客服

【代码】查找【优快云】- 人工客服。

👨‍💻 前端开发者 | 技术分享者 1414

Hadoop系列(四)Hive数据仓库安装以及替换元数据库

1.安装hive单机环境 1.1下载稳定版镜像 下载地址 下载之前先看一下hive版本对应的hadoop版本。我下载的是2.3.7版本 1.2 上传服务器解压重命名 命令: tar -xzvf apache-hive-2.3.7-bin.tar.gz mv apache-hive-2.3.7-bin hive237 1.3添加hive到全局环境变量 命令: vim ~/.bashrc 添加如下配置 export HIVE_HOME=/usr/local/hadoop/hive237 #将下面这段代码追

羽枫760的博客 902

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Hive元数据

Hive元数据是指描述和存储有关Hive数据仓库中数据和表结构的信息。这些信息包括数据库、表、分区、列、数据类型、存储格式以及其他相关元素的定义和属性。元数据在Hive中起着关键的作用,它使得Hive能够理解和操作存储在底层存储系统中的数据。Hive元数据是Hive数据仓库的重要组成部分,它描述了Hive中数据和表的结构和属性。通过合理地管理和操作Hive元数据,可以提高Hive的性能、可管理性和可靠性。内嵌式(Embedded)元数据使用Hive内置的Derby数据库作为元数据存储。

wty109的博客 1838

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Hive下载与安装

Hive直连数据库式和远程服务模式的傻瓜式教程

m0_62491477的博客 1906

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hive 元数据存储深度剖析:MySQL 与 Derby 的选型与配置

默认情况下,Hive 使用 Derby 作为嵌入式数据库,但在生产环境中,MySQL 是更常见的选型。配置时,确保驱动和参数正确,优先优化 MySQL 的事务设置。实际部署中,80% 以上的生产集群选用 MySQL,能显著降低运维风险。公式总结:元数据系统稳定性 $ S \propto \frac{\text{数据库可靠性}}{\text{并发压力}} $,MySQL 的 $ S $ 值远高于 Derby。在 Hive 中,元数据存储的选型需考虑性能、可扩展性、可靠性和适用场景。文件,添加以下属性。

2501_94072014的博客 478

Hive元数据存储模式详解与实战部署

本文深入解析Hive元数据存储模式,包括内嵌Derby模式、直连MySQL模式和远程服务模式,并提供实战部署指南。重点介绍MySQL模式的配置与优化,帮助用户根据集群规模选择合适的存储方案,提升Hive元数据管理效率与性能。

weixin_30800987的博客 462

Hive元数据和元数据表的结构

Hive的元数据表结构为Hive数据仓库提供了丰富的描述性信息,使得Hive能够理解和操作存储在底层存储系统中的数据。这些元数据表通过不同的字段和关联关系,共同构成了Hive元数据的完整结构。在实际使用中,通过查询这些元数据表,可以获取Hive数据仓库的详细结构和属性信息。

wty109的博客 1365

hive安装部署

hive有以下三种搭建模式 本地模式derby 使用derby存储时,会在当前目录生成一个derby.log文件和一个metastore_db目录。在同一个目录下同时只能有一个用户访问,在更换目录后,会因为没有以上两个文件,导致无法连接之前的数据库。 单机模式 该模式下需要启动一个服务器,我使用的是mysql服务器 配置如下 <!-- hdfs存储路径 --> &...

zzw_17600691357的博客 206

Ubuntu下hive的配置1(derby模式)

hadoop的单机模式配置好之后,就可以在此基础上配置Hive。

tony的专栏 506

Hadoop单机模式中Hive安装配置

本文主要是演示在Hadoop单机模式中Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下: 基础环境Hive安装配置启动及演示 [一]、基础环境 Mac OSX 10.9.1Java 1.6+ Hadoop 2.2.0 (安装配置详见: http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setu

jarth的专栏 3427

配置Hive使用MySql存储元数据

配置Hive使用MySql存储元数据 2018-7-24 作者: 张子阳 分类: 大数据处理 默认情况下,Hive会使用Derby来存储元数据(主要是表、列、分区Partition的信息)。Derby是一个嵌入式的本地数据库,只能单进程进行访问,不允许多个连接。因此,Derby只适合本地测试,不适合用在生产环境。Hive支持使用单独的数据库来存储元数据,比如MySql、PostgreSql等,本文将介绍如何配置Hive使用MySql存储元数据。 本文假设你已经单机安装、配置好了MySql和Hive。如果没有

chw65897的博客 855

Hive 3.1.2 保姆级安装部署指南:从环境准备到MySQL元数据配置

在大数据技术栈中,数据仓库是存储和分析海量数据的核心组件,其原理是将分布式文件系统上的数据通过元数据管理映射为结构化表。Hive作为Hadoop生态的重要工具,通过将SQL查询转换为MapReduce或Tez作业,极大降低了大数据处理的门槛,其技术价值在于为数据分析师提供了熟悉的SQL接口,同时保持了处理PB级数据的扩展能力。在实际应用场景中,Hive常用于构建企业级数据仓库、进行批处理ETL和交互式查询。本文将聚焦于Hive的部署实践,详细解析如何解决版本冲突、配置元数据库等关键步骤,帮助开发者快速搭建稳

weixin_30882895的博客 375

7_Linux下Hive安装及配置(Hive连接Windows下的MySQL)

Hive 数据仓库(数据中间件): 帮助进行数据的管理及分析底层数据存储依托于hdfs文件系统, 能够使用类似sql的语句直接对hdfs文件系统中的数据操作; sql—>mapreduce—>submit—>yarn 1、翻译:把sql翻译成语法数结构(sql翻译成mapreduce程序,xxx.java); 2、编译:把语法树结构转换成逻辑执行计划(将xxx.java编译成xxx.class文件,并将xxx.class打成jar包); 3、优化:将逻辑执行计划进行优化; 4、执行:提交逻

qq_43889206的博客 930
上一篇: Flume的下载安装
下一篇: Kafka(单机安装)
songrj1
博客等级 码龄9年 19粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值