【Hive总结】1. 简介

Hive-入门学习之 hive 简介和安装 (1) 1 Hive 简介 1.1hive 是什么 是由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析) . 是基于hadoop的一个数据仓库工具(服务性的软件) ,可以将结构化的数据文件映射为一张表 ,并提供类似SQL查询 . 本质是将 Hive SQL转化成 MapReduce程序或者spark程序 . 1.2基本流程/原理如下 : Hive处理的数据存储在 HDFS Hive分析数据底层的实现是 MapReduce / spar... 阅读详情

这里面我主要讲述的是我个人在项目开发过程中的简要总结。作者水平有限,仅供参考!我的Hive版本是hive2.0.0

 

一、Hive

 

1. Hive简介

(1)Hive是建立在Hadoop HDFS上的数据仓库基础架构
(2)Hive定义了简单的类似SQL查询语言,称为HQL它允许熟悉SQL的用户查询数据。 
(3)Hive的SQL解析引擎,它将SQL语句转移成M/R Job然后在Hadoop上执行。 

(4)Hive的表其实就是HDFS的目录/文件。

(5)Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理內建mapper和reducer无法完成的复杂的分析工作。

 

 2. 元数据

Hive将元数据存储在数据库中(metastore),支持mysql、derby、oracle等传统数据库,默认为derby。  Hive中元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在的目录等。 元数据被默认创建在derby数据库中,以表的形式保存数据。表的元信息、列元信息。

 

3. HQL执行流程

解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。 
过程:HQL语句——解析器:词法分析——编译器:生成HQL的执行计划——优化器:生成最优执行计划——执行。

 

4. Hive体系结构

(1)hadoop –用HDFS进行存储,利用mapreduce进行计算。 
(2)元数据存储(metastroe) 通常存储在关系数据库中,如mysql,derby。
(3) Hive Driver:驱动,包括编译器、解析器、优化器。 
        访问接口:

                  ①CLI:Command Line Interface;

                  ②通过JDBC/ODBC连接Thrift Server在连接驱动;

                  ③Web Console 控制台(只能查询)

 

5. Hive管理

(1)进入CLI方式 

     * 配置Hive的环境变量

     * 输入命令: hive --service cli   或是直接输入 hive

 

(2)web界面

  因为我的这个hive2.0.0的版本没有hwi的war包,所以需要自己下载hive2.0.0的源码包,然后进行打包。

  解压源码包后,进入hwi/web下,执行下面的命令

  

jar cvf hive-hwi-2.0.0.war ./* 

 【提示】war包的名字最好要与版本一致

 

  把生成的war包拷贝到hive的lib目录下。

 上述两步完事之后,编辑hive-site.xml文件

 

<property>
	<name>hive.hwi.listen.host</name>
	<value>0.0.0.0</value>
</property>
<property>
	<name>hivehwi.listen.port</name>
	<value>9999</value>
</property>
<property>
	<name>hive.hwi.war.file</name>
	<value>lib/hive-hwi.war</value>
</property>

 文件编辑好之后,拷贝jiar包

cp ${JAVA_HOME}/lib/tools.jar ${HIVE_HOME}/lib

 上面的4步完成之后,就此结束!

 

 启动web界面方式: hive –-service hwi  

【提示】多刷新几次!

 

(3)远程连接

 在hive服务的安装节点的hive-site.xml配置文件中添加以下配置

<property>
    <name>hive.server2.thrift.client.user</name>
    <value>root</value>
    <description>Username to use against thrift client</description>
</property>
<property>
    <name>hive.server2.thrift.client.password</name>
    <value>123456</value>
    <description>Password to use against thrift client</description>
</property>
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>服务器IP</value>
</property>

在hadoop的hdfs 的配置文件core-site.xml中加入如下配置

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

重新启动hadoop!

 

上述两步完成之后,启动hiveserver2!

前提是配置了hive的环境变量,输入下面的命令启动服务

hive --service hive2  或是直接输入hiveserver2

【提示】该服务启动的是10000端口

 

远程连接测试

直接输入beeline

beeline> !connect jdbc:hive2://Master:10000

用户名 root

密码 123456

 

 

 

 

Hive 1.0.0简介与安装 Hive简介 Hive是由Facebook的数据组开发维护的,在Facebook内部使用之后,被移交给Apache基金会。 Hive是建立在Hadoop之上的数据仓库,其使用MapReduce对存储于HDFS之上的数据进行分析。 Hive可以缩短MapReduce的开发周期,它定义了一种类SQL的查询语言,称之为HiveQL.Hive使用HiveQL表述查询操作,并立即将其自动转化为一个 阅读详情

相关推荐

《Hive 1》--Hive的简介、搭建hive、hive的架构、hive的工作流程、hive两种安装(基于Mysql)、hive on Mysql

Hive简介: 1.什么是Hive? Hive:由Facebooke开源,用于解决海量结构化日志的数据统计 Hive是一个构建在Hadoop上的数据仓库框架(工具),可以将结构化的数据文件映射为一张表,并提供类似SQl查询功能。 其设计目标是使Hadoop上的数据操作与传统SQL结合,让熟悉SQL编程的开发人员能够轻松向Hadoop平台转移。 ...

yk_3215123的博客 694

Hive——1、hive简介

Hive ——1、hive简介

s_hizhi的博客 175

Altium Designer操作技巧(4)——如何利用嘉立创EDA来输出3D封装到AD封装库?

本文介绍了利用嘉立创EDA和FreeCAD软件为PCB元件添加3D模型的方法。首先在嘉立创EDA中搜索元件编号并导出3D模型,然后使用FreeCAD删除3D模型中的PCB基板部分,最后将处理后的3D模型导入PCB封装库并更新到PCB设计中。文章详细讲解了每个步骤的操作流程,包括模型导出、基板删除、位置调整等关键环节,并提供了解决常见问题的方法。通过这种方法,电子工程师可以快速获得元器件的3D模型,提高PCB设计的准确性。

u012526819的博客 2595

hive学习(1)——hive简介

Hive的简介 Hive 是建立在 Hadoop  上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言,称为 HQL ,它允许熟悉 SQL  的用户查询数据。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper

chuandaoxinchang的专栏 568

从POI兴趣点获取到ArcGIS中热力图制作

1. POI获取及坐标点转换 POI获取我们要借助下面这个网站↓↓↓ 规划云http://guihuayun.com/poi/ 搜索POI兴趣点并复制兴趣点, 图 新建txt文本文档,粘贴兴趣点 图片 查看后得知,lng为横坐标,lat为纵坐标 文件,另存为csv格式文件,编码为utf—8 打开QGIS,因为我们pol点是从百度地图上获取的,为BD09坐标系,与WGS84有一定偏移【GCJ02:火星坐标系,是由中国国家测绘局制订的地理信息系统的坐标系统。由WGS84坐标系经加密后的坐标系。 BD09:为.

qq_43173805的博客 5599

超级详细!!!新手使用AutoDL跑深度学习(MixVPR项目)的学习记录

新手第一次在AutoDL上跑深度学习的实验,遇到一些问题,简单记录一下。如果大家发现问题,欢迎和我讨论。

weixin_45152283的博客 5万+

Hive笔记1-简介

简介 参考资料: Hive详细介绍及简单应用 hive核心基本概念 Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料) Hive入门及常用指令 Hive教程 Hive学习路线图 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数...

好女绪的博客 486

esp32-C3固件烧录用户手册

温馨提示:1.esp32-C3 BOOT脚为GPIO9,需要从芯片小板中焊接引出2.芯片小板中已经预留了所有烧录相关的引脚,大家可以按需焊接引线3.程序下载完,使用串口查看log时,需要使用220v供电使用(请务必准守用电安全)。原因:由于插座中包含继电器,计量计等耗电设备,所以usb转串口提供的3.3V电压和电流可能会出现供电不足,表现为usb转串口与电脑连接断断续续,导致无法查看log。

hbwang的博客 1万+

Hadoop/Hive简介 1

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Hadoop是一个存储计算框架,主要由两部分组成:   1,存储(Hado

wacthamu的专栏 781

NTN(三) Timing

这篇看下k_offset和k_mac,如38.300所述,k_offset是配置的调度偏移量,需要大于或等于service link RTT和Common TA之和;k_mac 是配置的偏移量,需要大于或等于 RP 和 gNB 之间的 RTT。 相关参数会通过RRC层NTN-config配置,其中的cellSpecificKoffset-r17和kmac-r17主要用于各种Timing场景的偏移。 kmac:如果DL和UL frame timing 在 gNB端未对齐,网络端

asd199086的博客 4829

《AgentScope-Java 深入浅出教程》第2章 环境搭建与第一个智能体

创建// 【导入说明】/*** 时间相关工具类* 工具类是普通的 Java 类,通过注解声明为工具。* 智能体可以根据用户需求自动调用这些工具。*/// 【工具定义】获取当前时间@Tool(name = "get_current_time", // 工具名称:LLM 看到的名称description = "获取指定时区的当前时间" // 工具描述:帮助 LLM 理解何时使用// 【参数定义】// @ToolParam 的 name 属性是必需的!

步子哥的博客 420

Hive实践(1)_Hive简介

Hiv 简介 HIV与Hadoop的关系 Hiv是Hoop生态圈中的一个工具,是基于Hadoop的一个数据仓库工具。该项目是由Facebook于2008年开发并源,贡献给了Apache基金会。 Hiv可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL(HQL)查询功能,可以将HQL语句转换为MapReduce任务进行运行,Hiv实现了简单的MapReduce统计,解决了需要使用JAVA

chxr1620的博客 552

高项备考论文:规划绩效域

高项备考论文:规划绩效域

liuxu324的博客 1131

hive3.1.2的简介,基本语法以及hive的安装

0.hive简介: hive是基于Hadoop的一个数据仓库工具,并不是一个数据库,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析

Fresh_man888的博客 1714

通信原理 | python调制识别数据及代码

数据集包含了从-20dB 到+18dB 总共 20 个信噪比(步长为 2)下的 11 种调制信号, 包括 AM-DSB、 AM-SSB 和 WBFM 三种模拟调制信号,以及 BPSK、 QPSK、 8PSK、 CPFSK、 GFSK、 PAM4、 QAM16 和 QAM64 八种数字调制信号。其中信号的中心频率为 200KHz,采样频率为 1Msamp/s,且每个信噪比下每种调制信号包含 1000 个信号。其中每个信号包含 IQ 两路数据,且每一路数据都包含有 128 个采样点。

若北辰 1758

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Hive分享教程1-Hive简介

HIVE是一个SQL解释引擎,它将SQL语句转译成M/R JOB,然后在Hadoop执行,来达到快速开发的目的。Hive的表其实就是一个Hadoop的目录/文件(HIVE默认表存放路径一般是工作目录的Hive目录里面),按表名做文件夹分开,如果有分区表,分区值都是子文件夹,可以直接在其他的M/R JOB里面直接应用这部分数据。 Hive的特点有一下几点: ...

valder fields 180

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

1、Hive的简介、原理及安装

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33860737的博客 137

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

HIVE:1_简介

什么是HIVEHive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它为数据仓库的管理提供了许多功能:数据 ETL (抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。同时 Hive 还定义了类 SQL的语言 – Hive QL. Hive QL 允许用户进行和 SQL 相似的操作,它可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能。还允许开发人员方

BUPT_WX的专栏 703

hive-3.2.1安装 简介

优雅排版版链接:https://note.youdao.com/ynoteshare1/index.html?id=6acce9319859107d92a8f4bbf1e155f8&type=note 1,简介 Apache Hive™数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已经存储的数据上。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 1.1什么是hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件

尤托匹亚的博客 546

hive学习1--数据仓库与hive简介

hive学习第一篇,本篇主要对对ive及数据仓库进行简要介绍

baidu_26137595的博客 499

HIVE(1)简介及基本工作原理

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 Hive是一个数仓工具

刚哥的大数据之路 940

Hive入门--1.简介与环境搭建

Hive入门   hive是一个数据仓库,用于存储海量格式化数据,方便开发人员对其使用SQL语言进行数据分析。   它的所有表中的数据存放在 hdfs 文件系统中,保证了数据的可靠性,安全性   它的表的描述信息 metastore(包括表字段定义、文件在hdfs中的映射位置)存放在单独的数据库中,默认的是derby本地文件数据库,大多情况下使用 mysql 进...

a166244的博客 143

Hive入门系列(1)-Hive简介+安装+基本操作

简介 官网地址 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。 优缺点 优点: 操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。 避免了去写 MapReduce,减少开发人员的学习成本。 Hive 的执行延迟比较高,因此 Hive 常用于数据分析,对实时性要求

记录知识、锤炼自我 559

1 数据仓库工具 -- Hive的简介

hive 简介 hive 优缺点 hive 架构

weixin_42749734的博客 329

hive2.3.1 详细笔记(一) hive简介 安装 连接详解 (附带视频讲解)

本节内容 什么是hive hive的基本执行原理 hive安装启动 hive加载数据 1 什么是hive 简介 hive是基于Hadoop的一个数据仓库工具,并不是一个数据库,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计..

HANG.NIAN 4198

Hive2.3.1笔记一:Hive简介、特点、应用场景、架构原理

1、什么是Hive? Hive:由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)。 Hive是基于Hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似于SQL查询。 本质是:将Hive SQL转化成MapReduce程序或者 spark程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce/ spark(分布式运算框架) 3)执行程序运行在Yarn上,即需要运行HDF...

qq_30612351的博客 487
上一篇: 【Shiro 框架总结】9 Shiro.ini详解
下一篇: 【Hive总结】2. Hive整合HBase(亲测)
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值