Auraros的博客

Hive调优1 Fetch抓取更多整理都在我的github上：Auraros欢迎大家。Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算.在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,一般的SQL语句转换成MapReduce程序运行。那么问题来了：什么样的程序才不用进行MR计算呢？首先是针对简单查询的，比如单纯的select当数据量很少的时候出现数据倾斜的时候数据量特别大的时候针对简单查询的解决但是Hive中对某些情况

Hive总结1 基本操作更多整理都在我的github上：Auraros欢迎大家。数据库的基本操作创建数据库create database [if not exists] myhive;说明一下： Hive表存放位置模式是由hive-site.xml当中的一个属性指定的：<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</v

Hive11 调优学习一下Hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive更多整理都在我的github上：Auraros欢迎大家。使用EXPLAINhive> DESCRIBE onecol;number inthive> SLELECT * FROM onecol;554hive> SELECT SUM(number) FROM onecol;14现在，在前面例子中最后一个查询语句前加上EXPLAIN关键字。然后这个本身并不会

Hive10 模式设计更多整理都在我的github上：Auraros欢迎大家来查看。Hive实现和使用的方式和传统的 关系型数据库是非常不同的。按天划分的表按天划分的表就是一种模式，其通常会在表名中加入一个时间戳。例如：supply_2011_01_01、supply_2011_01_02。这种每天一张表的方式在数据库领域是一种反模式的一种方式，但是因为实际情况下数据集增长得很快，这种方式应用还是比较广泛的。hive> CREATE TABLE supply_2011_01_02(id

Hive9 索引更多整理都在我的github上：Auraros的博客欢迎大家来查看。创建索引先简历一张表CREATE TABLE employees( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING, FLOAT>, adress STRUCT<street:STRING, city:STRING， state:STRING, zip:I

Hive8 视图更多整理都在我的github上：Auraros的博客欢迎大家来查看。试图可以允许保存一个查询并对待表一样对这个查询进行操作。这是一个逻辑结构，因为它不像一个表会存储数据。使用视图来降低查询复杂度背景：当查询时间变得长或复杂的时候，通过使用视图将这个查询语句分割成多个小的，可控的片段可以降低这种复杂度。具有嵌套子查询的查询FROM( SELECT * FROM people JOIN cart ON (cart.prople_id=people.id) WHERE

Hive7 查询更多整理都在我的github上：Auraros的博客欢迎大家来查看。SELECT … FROM 语句普通查询select 查询数组的时候hive> SELETC name, suborinates FROM employees;Jhon Doe ["Mary Smith","Todd Jones"]Mary Smith ["Bill King"]Todd Jones []Bill King []select 查询maphive> SELEC

Hive6 数据操作更多整理都在我的github上：Auraros的博客欢迎大家来查看。Hive中没有行级别的数据插入、数据更新和删除操作，唯一途径就是使用“大量”的数据装载操作。向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country = 'US', state = 'CA');partition：如果分区目录不

Hive5 数据定义更多整理都在我的github上：Auraros的博客欢迎大家来查看。Hive 中的数据库创建数据库hive> CREATE DATABASE financials;hive> CREATE DATABASE IF OT EXISTS financials;查看数据库hive> CREATE DATABASE;hive> CREATE DATABASE human_resources;hive> SHOW DATABASES;

Hive4 数据类型和文件格式基本数据类型数据类型长度例子TINYINT1byte有符号整数20SMALINT2byte有符号整数20INT4byte有符号整数20BIGINT8byte有符号整数20BOOLEAN布尔类型TRUEFLOAT单精度浮点数3.14159DOUBLE双精度浮点数3.14.59STRING字符序列。可以指定字符集‘hello’TIMESTAMP整数，浮点数或者字符串1231

Hive3 Hive CLI其他命令介绍自动补全功能跟linux一样，在输入过程中敲击Tab制表键，那么CLI会自动补全可能的关键字或者函数名。查看操作命令历史上下标移动Control + A 代表光标移到行首Control + B 代表光标移动到行尾Control + F 一次向前移动一个单词这样的命令执行Shell命令用户不需要退出CLI就可以执行Bash shell命令hive > ! /bin/echo "that up dag";"what up dag"注意

Hive2 Hive命令Hive常用命令查看hive命令的一个简明说明hive --help需要注意 Service List 后面的内容。这里提供了几个服务，包括我们绝大多数时间将要使用的CLI。用户可以通过 --service name 服务名称来启用某个服务。下面有几个比较有用的服务：选项名称描述cli命令行界面用户定义表，执行查询等，如果没有指定其他服务，这个是默认的服务hiveserverHive Server监听来自于其他进程的Thrift连接

Hive1 安装与环境配置准备好的安装包：1. apache-hive-2.3.6-bin.tar.gz2. mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz3. mysql-connector-java-8.0.21.jar安装前说明：安装hive前提是要先安装hadoop集群hive只需要再hadoop的namenode节点集群里安装即可(需要在所有namenode上安装)，可以不在datanode节点的机器上安装。虽然修改配置文件并不需要你已