Faded1573606285的博客

一 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Ya...

1 Hive安装地址 1）Hive官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http://archive.apache.org/dist/hive/ 4）github地址： https://github...

1 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 ...

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL ...

1 系统自带的函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 2 自定义函数 1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可...

1 Hadoop源码编译支持Snappy压缩 1.1 资源准备 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK7 、 maven、 protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u...

1 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hi...

一、需求描述 统计Youtube视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别包含这Top20视频的个数 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top10 --统计每个类别中视频流量Top10 --统计上传视频最多的用户Top10以及他们上传的...

1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） hive> create database db_hive; FAILE...