hive
关注
分享
扫一扫
hive详解
爆发的~小宇宙
github地址：https://github.com/ordinary-zhang?tab=repositories
展开
-
hive-1.1.0-cdh5.7.0 的编译安装并修改元数据存储数据库为MySQL
1 准备工作1.1 配置jdk1.71.2 部署MySQL1.3 安装maven1.4编译安装 hadoop-2.6.0-cdh5.7.0.src.tar.gz1.5创建hadoop用户 安装的目录结构：/opt/software参考该博客 下载地址（hive-1.1.0-cdh5.7.0 和 hadoop-2.6.0-cdh5.7.0.src....原创 2018-01-02 21:06:54 · 2613 阅读 · 3 评论 -
启动hiveThe specified datastore driver (com.mysql.jdbc.Driver) was not found in the CLASSPATH
在进行hive-1.1.0-cdh5.7.0 的编译安装的时候再启动hive的时候出现下面的异常信息：[hadoop@zydatahadoop001 conf]$ hivewhich: no hbase in (/usr/java/jdk1.8.0_45/bin:/opt/software/hive/bin:/opt/software/hadoop-cdh/sbin:/opt/softw...原创 2018-01-02 23:43:14 · 6197 阅读 · 5 评论 -
Hive实现wordcount的统计
1 所需环境Hive的安装参考地址2 创建一个数据库创建wordcount数据库hive> create database wordcount;OKTime taken: 0.389 secondshive> show databases;OKdefaultwordcountTime taken: 0.043 seconds, Fetch...原创 2018-01-03 17:29:25 · 1733 阅读 · 0 评论 -
Hive常用的基础sql语法（DDL）
对于Hive的学习，官网可以说是最详细不过的了；不仅仅是Hive，对于大部分大数据的组件能够理解官网所介绍的那你估计就是大牛级别的了！下面我们就对官网上给我们列出的sql语法进行进一步了解。首先了解下Hive的数据存储结构，如下图： 1. Database:Hive中包含了多个数据库，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehou...原创 2018-01-04 22:09:10 · 4024 阅读 · 4 评论 -
Hive常用的基础sql语法（DML）
数据的操作语言DML(Data Manipulation Language)1 LOAD（加载数据）加载文件到表中（Loading files into tables） -下面是官网上为我们列出的语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partc...原创 2018-01-08 22:06:23 · 4017 阅读 · 0 评论 -
Hive常用的基础sql语法--聚合函数，分组函数的使用和多表查询
1 聚合函数一句话概括什么是聚合函数：多行合并为一行。（大家应该明白了吧）常用函数：sum，count，max，min，avg。hive> select * from emp;OK7369 SMITH CLERK 7902 1980/12/17 800.0 NULL 207499 ALLEN SALESMAN ...原创 2018-01-09 11:40:43 · 7765 阅读 · 2 评论 -
Hive CLI 常用操作
1 官方地址地址及语法To get help, run "hive -H" or "hive --help".Usage (as it is in Hive 0.9.0):usage: hive -d,--define <key=value> Variable substitution to apply to Hive ...原创 2018-01-10 10:24:10 · 1109 阅读 · 2 评论 -
Hive-Import/Export（导入导出）
1 官方地址Hive 0.8.0 之后引入了EXPORT and IMPORT 命令。EXPORT命令将表或分区的数据连同元数据一起导出到指定的输出位置（HDFS上）。然后可以将此输出位置移至不同的Hadoop或Hive实例，并使用IMPORT命令进行导入操作。导出分区表时，原始数据可能位于不同的HDFS位置。还支持导出/导入分区子集的功能。导出的元数据存储在目标目录中，数据文件存储...原创 2018-01-11 20:01:00 · 5365 阅读 · 0 评论 -
Hive的内置函数和自定义函数UDF
1 Hive的内置函数在Hive中给我们内置了很多函数官方地址也可以在启动hive后输入命令查看函数：SHOW FUNCTIONS;DESCRIBE FUNCTION <function_name>;DESCRIBE FUNCTION EXTENDED <function_name>;查看所有的内置函数hive> show fun...原创 2018-01-15 09:04:18 · 29040 阅读 · 3 评论 -
HiveServer2 JDBC客户端连接Hive数据库
官方地址1 简介两者都允许远程客户端使用多种编程语言，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，连这个和都允许远程客户端使用多种编程语言如java，python等向hive提交请求，取回结果（从hive0.15起就不再支持hiveserver了），但是在这里我们还是要说一下hiveserverHiveServer...原创 2018-01-15 17:23:28 · 4267 阅读 · 0 评论 -
hive jdbc 连接时抛异常
Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.137.200:10000/default: java.net.ConnectException: Connection refused: connect ...原创 2018-01-18 15:22:02 · 13856 阅读 · 2 评论 -
Hadoop对于数据的离线处理流程及实现Top N 查询
1.需求：查询各个区域下最受欢迎的Top 3的访问次数2.数据：三张表在MySQL中，一张在hive中1.MySQL中的表：city_info：城市信息表mysql> select * from city_info;+---------+-----------+--------+| city_id | city_name | area |+-----...原创 2018-02-02 10:04:04 · 2148 阅读 · 2 评论 -
Hive中的存储格式
1 概述官方链接 上一篇博客我们详细的介绍了压缩的使用，本文将详细介绍Hive中的存储格式，下面列出官方给出的存储格式：[STORED AS file_format]file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration...原创 2018-03-13 16:57:54 · 2790 阅读 · 1 评论 -
Hive元数据表结构详解
概述我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。Hive元数据表结构hive-...原创 2018-06-14 21:59:37 · 13604 阅读 · 4 评论 -
Hive总结篇及Hive的优化
概述Hive学习也有一段时间了，今天来对Hive进行一个总结，也是对自己的总结，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。什么是Hive老规矩：官网地址 Hive wiki. 先来谈谈自己的理解： 有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive很强大，只要写SQL就能解...原创 2018-09-11 10:15:40 · 42282 阅读 · 9 评论