lljazxx的博客

大数据技术之HiveHive基本概念Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。Hive是基于Hadoop的一个数据仓库工具（E抽取T转换L加载），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析（翻译工作）数据底层的实现...

Hive企业级调优Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more...

Hive自定义函数系统内置函数1．查看系统自带的函数hive> show functions;2．显示自带的函数的用法hive> desc function upper;3．详细显示自带的函数的用法hive> desc function extended upper;自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定...

Hive的 DQL 查询语句查询语句语法：SELECT [ALL | DISTINCT] select_expr, select_expr, …FROM table_reference[WHERE where_condition][GROUP BY col_list][ORDER BY col_list][SORT BY col_list][LIMIT number]基本查询（s...

Hive 的DML数据操作数据导入（上传）向表中装载数据（Load）1．语法hive> load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表（复制）；否则从HDFS加载数据到...

Hive的 DDL数据定义创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive (default)> create database db_h...

Hive安装Hive安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/4．github地址https://github.com/ap...

Hive数据类型基本数据类型TINYINT 1byte有符号整数 SMALINT 2byte有符号整数INT 4byte有符号整数BIGINT 8byte有符号整数BOOLEAN 布尔类型FLOAT 单精度浮点数 DOUBLE 双精度浮点数 STRING 字符系列。可以指定字符集。可以使用单引号或者双引号。 TIMESTAMP 时间类型 BINARY 字节...

数据仓库（以Hive为例）和数据库比较Hive是一个翻译工具，将sql翻译为底层mr程序的，它不是数据库，只不过在表现形式上和数据库有很多类似而已（比如表、database、字段等）数据库可以用在 Online（在线） 的应用中，但是Hive 是为数据仓库而设计的数据库可以增删查改，数据仓库只可以增删查数据仓库支持很大规模的数据；数据库支持的数据规模较小数据仓库没有索引，数据库有数据仓...

从HDFS中向hive数据仓库分区中上传数据从HDFS中向hive数据仓库中上传数据（分区，按年月日）文件格式： 年-月-日最后有配套的分区表的创建shell代码：#!/bin/bash#创建全局对象，供后面使用action="";#获取该路径下所有的文件 然后进行遍历 得到文件的路径for file in /root/AccountRegister/* do #获取文件...

hive建表分区魔板：create table 表名(字段1 类型1,字段2 类型2)partitioned by (分区名 类型)row format delimited fields terminated by '分隔符';例子：create table AccountRegister(#字段信息AppID String,GameID String,ChildId S...