Hive学习笔记

Hadoop入门学习笔记——七、Hive语法 然后再查看SDS表中的数据,会发现SD_ID为14的数据,其对应的LOCATION的值为hdfs://node1:8020/user/hive/warehouse/myhive.db/score3/year=2019/month=10/day=01,通过这两个表实现了分区和HDFS系统中文件夹的对应,同时,也可以看到分区值已经变更了,但是HDFS中的物理存储路径没有变化。创建一个外部表,表名为test_ext1,由2个字段id和name构成,该表的数据分隔符为\t,在HDFS系统中的存储位置为。 阅读详情

Hive学习笔记

参加拉勾教育大数据训练营课程笔记

概述

Hive由Facebook开源,最初用于解决海量结构化日志数据的统计。

基于MapReduce的数据仓库工具

已有的Hadoop平台:

HDFS - 海量数据存储

MapReduce - 海量数据处理、分析

Yarn - 集群资源管理和作业调度

Hive产生的原因,解决Hadoop平台痛点:

  1. MapReduce学习成本高,开发难度大 → \to → 提供SQL查询接口,背后将SQL查询转换为MapReduce任务
  2. HDFS没有字段,数据类型,没有表的概念,数据管理不方便 → \to → 结构数据映射为表,并提供数据类型
  3. 项目周期长 → \to → 使用SQL开发,大大缩短开发周期,节约开发成本

Hive本质:

  1. SQL转换为MapReduce任务
  2. 由HDFS提供数据存储

可以理解为将SQL转换为MapReduce任务的工具

数仓:用于管理决策的,面向主题的、集成的、相对稳定的、反映历史变化的数据集合数据集合,由比尔·恩门于1991年提出

  • 目的:构建面向分析的、集成的数据集合,为企业提供决策支持
  • 数仓本身不产生数据,来源于外部,比如用户系统,交易系统。
  • 存储大量数据

数仓可参考*《The Data Warehouse Toolkit》*一书

Hive vs. RDBMS (relational databases)

  • 查询语言 - 高度相似(HQL & SQL),熟悉SQL的开发人员可以快速上手

  • 数据规模 - Hive支持更大规模的数据集,建立在集群上,翻译HQL为MR(MR执行引擎)进行并行计算,相比之下,RDBMS支持的规模较小

  • 执行引擎 - Hive支持的引擎有MR/Tez/Spark/Flink,而RDBMS都有自己的执行引擎

  • 数据存储 - Hive存储在HDFS上,RDBMS存储在本地文件系统或者裸设备上面。

    裸设备 - 裸设备(raw device),也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特字符设备文件。由应用程序负责对它进行读写操作。不经过文件系统的缓冲。它是不被操作系统直接管理的设备。这种设备少了操作系统这一层,I/O效率更高。不少数据库都能通过使用裸设备作为存储介质来提高I/O效率。

    不过从Linux 5.14开始,已经移除裸设备支持,退出历史舞台。

  • 执行速度 -

  • 可拓展性 -

  • 数据更新 -

  • 事务支持 -

优缺点

优点

  • 学习成本比MapReduce低,开发人员容易上手

  • 处理海量数据。底层使用MapReduce任务

  • 系统水平扩展性强,机器翻倍,性能翻倍

  • 功能扩展 - 自定义函数

  • 源于HDFS的高容错性

  • 同一的元数据管理 - 表定义(表名、字段、字段类型),数据位置

缺点

  • HQL表达能力有限
  • 迭代计算无法表达 - 机器学习
  • 执行效率不高(基于MR的执行引擎)
  • 自动生成的MR作业,默写情况不只能,性能低
  • 调优困难

架构

请添加图片描述

安装配置

mysql

This problem has happened because validate_password plugin is by default NOT activated. You can solve by these commands:

mysql> select plugin_name, plugin_status from information_schema.plugins where plugin_name like 'validate%';

mysql> install plugin validate_password soname 'validate_password.so';

mysql> select plugin_name, plugin_status from information_schema.plugins where plugin_name like 'validate%';

+-------------------+---------------+
| plugin_name       | plugin_status |
+-------------------+---------------+
| validate_password | ACTIVE        |
+-------------------+---------------+
1 row in set (0.00 sec)
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password_check_user_name    | OFF    |
| validate_password_dictionary_file    |        |
| validate_password_length             | 8      |
| validate_password_mixed_case_count   | 1      |
| validate_password_number_count       | 1      |
| validate_password_policy             | MEDIUM |
| validate_password_special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.00 sec). 
SET GLOBAL validate_password_policy=LOW;

配置

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- hive元数据的存储位置 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://h3:3306/hivemetadata?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <!-- 指定驱动程序 -->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <!-- 连接数据库的用户名 -->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <!-- 连接数据库的口令 -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>dont4get</value>
    <description>password to use against metastore database</description>
  </property>
    <property>
        <!-- 数据默认的存储位置(HDFS) -->
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>
    <property>
        <!-- 在命令行中,显示当前操作的数据库 -->
        <name>hive.cli.print.current.db</name>
        <value>true</value>
        <description>Whether to include the current database in the Hive prompt.</description>
    </property>
    <property>
        <!-- 在命令行中,显示数据的表头 -->
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <property>
        <!-- 操作小规模数据时,使用本地模式,提高效率 -->
        <name>hive.exec.mode.local.auto</name>
        <value>true</value>
        <description>Let Hive determine whether to run in local mode automatically</description>
    </property>
</configuration>

初始化

[root@h3 opt]# schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.3.7/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://h3:3306/hivemetadata?createDatabaseIfNotExist=true&useSSL=false
Metastore Connection Driver :	 com.mysql.jdbc.Driver
Metastore connection User:	 hive
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

启动Hive

[root@h3 opt]# hive
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_291/bin:/opt/hadoop-2.9.2/bin:/opt/hadoop-2.9.2/sbin:/opt/hive-2.3.7/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.3.7/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive-2.3.7/lib/hive-common-2.3.7.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases;
OK
default
Time taken: 6.999 seconds, Fetched: 1 row(s)
hive> create database test1;
OK
Time taken: 0.199 seconds
hive> show databases;
OK
default
test1
Time taken: 0.033 seconds, Fetched: 2 row(s)
hive>
PostgreSQL隐式类型转换全解析:告别operator does not exist 强类型数据库是现代数据系统的基石,它在带来严谨性的同时,也常常让开发者在类型不匹配报错前束手无策。当一条SQL因bigint与text比较而抛出operator does not exist时,根源往往在于对数据库隐式转换规则的误解。PostgreSQL通过pg_cast系统表将转换划分为隐式、赋值与显式三个级别,并依据操作符解析逻辑决定是否自动提升类型。理解这些机制,不仅能快速定位JOIN、UNION、函数调用等场景下的类型错误,还能帮助开发者合理使用EXPLAIN VERBOSE、pg_typeof等工 阅读详情

相关推荐

TDSQL-单机安装

根据腾讯云官方要求,TDSQL安装至少需要三台机器。本人想要学习TDSQL但是没有足够的机器资源,经过仔细分析研究TDSQL安装过程,尝试发现单台机器也可以成功安装TDSQL,现将本人单台机器安装TDSQL的过程以及安装过程中遇到的问题在此分享。具体安装过程可参考腾讯官方文档,本文仅分享与官方文档不一致的步骤。

u012607648的博客 6813

Hive权威指南学习笔记

原文链接: Hive权威指南学习笔记

不清不慎的博客 420

计量经济学(因果关系探究-空间双重差分模型: 破解空间溢出效应的因果分析工具)

本文介绍了传统双重差分(DID)模型及其局限性,重点阐述了空间DID模型的必要性。传统DID通过组间差分分离干预效应,但无法处理空间溢出效应。空间DID模型引入空间计量方法,包括三种类型:空间自回归模型(SDID-SAR)捕捉因变量溢出,空间误差模型(SDID-SEM)处理残差相关性,空间杜宾模型(SDID-SDM)同时考虑因变量和自变量的空间滞后。模型选择需结合空间相关性检验,适用于环境政策、房地产限购等存在空间交互效应的研究场景。

YBAdvanceFu的博客 2033

Hive学习笔记总结

http://www.cnblogs.com/wangrd/p/6275162.html Hive学习笔记总结

RP901011的博客 413

手把手教你用三极管搭建麦克风音频放大电路(附完整电路图)

本文详细介绍了如何使用三极管搭建麦克风音频放大电路,包括电路设计基础、元件选择、完整电路图及分步焊接指南。通过实际操作和调试技巧,帮助电子爱好者和学生深入理解模拟电路原理,实现音质清晰的音频放大效果。

Black的专栏 988

告别QWebEngineView!用QtLocation+SQLite打造离线地图应用(附完整源码)

本文详细介绍了如何利用QtLocation模块与SQLite数据库构建高性能离线地图引擎,解决传统QWebEngineView方案在网络依赖、内存占用和定制化方面的不足。通过多级缓存机制、异步写入优化和纹理压缩技术,实现工业级应用的稳定运行和高效渲染,特别适合车载导航和野外勘探等场景。

weixin_30431445的博客 365

Hive编程指南学习笔记(2)

我们可以使用describe extended financial.employee命令来查看这个表的详细表结构信息(如果当前所处的工作数据库就是financial,那可以不佳finanacial)。 如果使用formatted替代关键字extended的话,那可以得到更多的输出信息。 如果用户只想查看某一列的信息,那么只要在表名后增加这个字段的名称即可。这种情况下,使用extended关键字

iAm333的专栏 2171

行为验证码 AJ-Captcha 使用文档

AJ-Captcha验证码系统集成指南:需添加captcha-spring-boot-starter和Redis依赖,配置Redis连接。核心实现包括Redis缓存服务类CaptchaCacheRedisImpl(含设置、查询、删除验证码等方法)、SPI配置文件及Spring Boot配置类(配置验证码属性和Redis模板)。系统支持验证码生成、校验、防刷等安全功能,适用于Web应用安全验证场景。

千层冷面的博客 2122

hive学习笔记

自己学习总结,学习交流加群460570824 什么是Hive:   Hive是基于Hadoop之上的数据仓库,数据存放在HDFS上,它同样可以通过ETL来进行数据的抽取、转换和加载。同时Hive可以自己开发Mapreduce程序来完成本身不能提供的数据处理操作。Hive本身就是一个SQL的解析引擎,他将SQL 语句转成Mapreduce任务在hadoop之上执行。   什么是数据仓库:

ab123456bcde的博客 349

翻倍密码系统主图指标-行情买卖以及持股-翻倍密码买点-获利了结,通达信炒股软件指标公式

华森制药,上图案例走势,低位出现“开始潜伏”信号,进场红色K线持股待涨,进入“翻倍密码买点”,开启紫色K线的持续上涨,目前也达到了翻倍行情,还没出现“获利了结”的出场信号。这套操盘系统,即便出现信号没走出翻倍行情,也都是可以全身而退,获利出局,或者微微止损出场,并不代表每一个波段都能翻倍,但是走翻倍行情,你按照信号参与或持仓是不会错过的。用这个操盘系统操作,你也不需要天天的盘中看盘,不需要担心盘中的震荡,只要趋势不变,哪怕是偶尔出现跌停,也不影响行情的继续上涨,这都是上涨途中的正常调整。

weixin_69760830的博客 3682

AWS入门实践-如何在AWS云上创建一个内外网隔离的生产环境

在 AWS 上建立一个内外网分离的生产环境,可以减少应用服务的暴露面,有效的保证你的应用服务器的安全。通常我们会将web应用放在外网的子网内,数据库服务器等放在内网的子网。我们将按照下图来部署动手实践环境,实现在public subnet的EC2虚拟机可以直接通过互联网可以访问,在Private subnet的EC2虚拟机不能通过互联网直接访问,但是却可以在内部来访问互联网安装应用等等。

weixin_39108752的博客 2997

【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化

Hive UDF开发流程继承UDF类或GenericUDF类重写evaluate()方法并实现函数逻辑编译打包为jar文件复制到正确的HDFS路径使用jar创建临时/永久函数调用函数1.创建一个Maven工程Hive2.导入依赖3.创建一个类方法一(创建临时函数):4.打成jar包上传到服务器/opt/testudf.jar5.将jar包添加到hive的classpath(linux路径)

一个老码农 1495

多测师肖sir_高级金牌讲师_数据库之存储练习题(8.13.1)

实验 一、 实验要求: 理解存储过程的概念 掌握存储过程的语法格式、使用方法 掌握存 储过程的创建、执行 二、实验前提: – drop table if exists student; – Create table student – (Id varchar(255), #学号 – Name varchar(255), #姓名 – Roomid varchar(255), #班级 – Sex char(1), #性别 – Degree varchar(3) );#成绩; Insert into stud

多测师肖sir的博客 709

Hive学习笔记 1 Hive体系结构

本Hive学习笔记是观看慕课网赵强的教程后的笔记,教程地址:http://www.imooc.com/learn/387 什么是Hive? Hive是基于Hadoop HDFS之上的数据仓库,本质上就是一个数据库。 什么是数据仓库? 面向主题:数据仓库中的数据是用户进行数据分析时关心的数据 集成的:数据仓库中的数据是来自于分散的数据源,有可能来自于Mysql

陈杰 432

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

大数据框架之Hive学习笔记

大数据框架之Hive学习笔记

yiluohan0307的专栏 207

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

HIVE 学习笔记

1、hive建表语法中的分隔符设定 ROW FORMAT DELIMITED 分隔符设置开始语句 FIELDS TERMINATED BY:设置字段与字段之间的分隔符 COLLECTION ITEMS TERMINATED BY:设置一个复杂类型(array,struct)字段的各个item之间的分隔符 MAP KEYS TERMINATED BY:设置一个复杂类型(Map)字段的key

L聪记博客 559

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

hive学习笔记之七:内置函数

减法(-)、乘法(*)、除法(/)的使用与加法类似,不再赘述了;执行命令show functions;接下来从计算函数开始,体验常用函数;进入hive控制台;

2401_85125493的博客 1224

hive的java api_Hive-1.2.0学习笔记(三)Hive用户接口

鲁春利的工作笔记,谁说程序员不能有文艺范?Hive对外提供了三种服务模式,即CLI(command line interface)、Hive Web和Hive Client(如JavaApi方式)。1、Hive命令行模式(CLI)启动Hive命令行模式有两种方式bin/hive或bin/hive--serviceclihive命令选项[hadoop@nnodehive1.2.0]$bin/...

weixin_33164837的博客 682

hive学习笔记之五:分桶

此时可以考虑分桶的方式来分解数据集,分桶原理可以参考MR中的HashPartitioner,将指定字段的值做hash后,根据桶的数量确定该记录放在哪个桶中,另外,在join查询和数据取样时,分桶都能提升查询效率;分区字段的每个值都会创建一个文件夹,值越多文件夹越多;不合理的分区会导致有的文件夹下数据过多,有的过少;

2501_90330688的博客 735

Hive语法,函数--学习笔记

Hive语法,函数,排序分组分桶函数,Hive基础函数,高阶函数

yfq_29的博客 2353

Hive学习笔记(by尚硅谷)

hive是由facebook开源,基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。hive是一个hadoop客户端,用于将hql(hive sql)转化成mapreduce程序。- hive中每张表的数据存储在hdfs- hive分析数据底层的实现是mapreduce(也可配置为spark或者tez)- 执行程序运行在yarn上1、创建数据库2、查询数据库注:like通配表达式,*表示任意个任意字符,|表示或的关系。3、查看数据库信息。

qq_42822177的博客 1039

bigint hive java类型_hive学习笔记之一:基本数据类型

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类和汇总,及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;关于hive学习笔记系列《hive学习笔记》系列保持了作者一贯的风格,即通过实战学习和了解;作为一个构建在Hadoop上的数据仓库框架,hive被用来进行数据提取、转化、加载,这是一种可以存储、查...

weixin_33218378的博客 168

hive学习笔记之八:Sqoop,Java高级工程师面试实战

关于分布式,限流+缓存+缓存,这三大技术(包含:ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ)等等。这些相关的面试也好,还有手写以及学习的笔记PDF,都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍,并且小编也已经将其整理成PDF啦一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

2401_84004024的博客 749
上一篇: git手记
下一篇: Impala笔记
DataPeak
博客等级 码龄15年 32粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值