不念人间朝暮的博客

六、大数据之Hive-01 Hive基本概念 1、Hive的认识 ​ Hive 由FaceBook开源用于解决海量结构化日志的数据统计。 ​ Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 ​ 本质是将HQL转化成MapReduce程序 1、HIve处理的数据存储在HDFS 2、Hive分析数据底层的实现是MapReduce 3、执行程序运行在Yarn上 2、Hive的优缺点 1）优点 ​ a、操作接口采用类SQL语法，提供快速开发的能力

六、大数据之Hive-02 Hive安装 1、Hive安装地址 1．Hive 官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://archive.apache.org/dist/hive/ 4．github 地址 https://github.com/apache/hive 2、Hive安装部署 1、Hive安装及配置 ​ （

六、大数据之Hive-03 Hive数据类型 1、基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 1byte有符号整数 20 INT int 1byte有符号整数 20 BIGINT long 1byte有符号整数 20 BOOLEAN boolean 布尔类型 TRUE 、FALSE FLOAT float 单精度数 3.14159 DOUBLE double 双精度浮点

六、大数据之Hive-04 DDL数据定义 1、创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; ​ 1、创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)&

六、大数据之Hive-05 DML数据操作 1、数据导入 1、向表中装载数据（Load） ​ （1）语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; ​ a、load data:表示加载数据 ​ b、local：表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive

六、大数据之Hive-06 查询 ​ 查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORD

六、大数据之Hive-07 函数（Function） 1、系统内置函数 #查看系统自带的函数 hive> show functions; #显示自带的函数的用法 hive> desc function upper; #详细显示自带的函数的用法 hive> desc function extended upper; 2、自定义函数 ​ （1）Hive自带了一些函数，比如max/min等，但是数量有限，自己可以通过自定义UDF来方便的拓展。 ​ （2）当Hive提供的内置函数无法满足

六、大数据之Hive-08 压缩和存储 1、Hadoop源码编译支持Snappy压缩 1、资源准备 ​ （1）CentOS联网 ​ 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 ​ 注意：采用 root角色编译，减少文件夹权限出现问题 2、jar包准备（hadoop源码、JDK8、maven、protobuf） ​ （1）Hadoop-2.7.2-src.tar.gz ​ （2）jdk-8u144-linux-x64.tar.gz ​ （3）snap

六、大数据之Hive-09 Hive调优 1、Fetch抓取 ​ Fetch抓取是指：Hive中对某些情况的查询可以不必使用MapReduce计算。例如：select *from employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 ​ 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认minimal，该属性修改为more以后，在全局查找、字