e3hhhh的博客

hive的环境搭建 hive有三种模式内嵌模式，本地模式，远程连接 内嵌模式的配置 1. 简介： 使用hive自带数据库derby来进行存储元数据，通常用于测试 优点：使用简单，不用进行配置 缺点：只支持单session。 1. 将hive安装包上传到/opt/software/,进行解压 $ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /o...

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask hive> set hive.execution.engine=tez; 可以进/tmp/{user}/hive.log 其中{user}代表安装hive的用户例如在root上安装的hive vi /tmp/root/h...

有如下通话记录： Zhangsan Wangwu 01:01:01 Zhangsan Zhaoliu 00:11:21 Zhangsan Yuqi 00:19:01 Zhangsan Jingba 00:21:01 Zhangsan Wuxi 01:31:17 Wangwu Zhaoliu 00:51:01 Wangwu Zhaoliu 01:11:19 Wangwu Yuqi 00:00:21 ...

hive中子句的书写顺序 select...from....join.....on....where....group by ....having....order by... sort by....limit....union | union all.... select 后跟要查询的列每个字段为一列(行专列就可以将字段放到hive后就可以完成)。 from 后根表，可以是一个select子句，...

分桶的概述 为什么要分桶 数据分区可能导致有些分区数据过多，有些分区数据极少。分桶是将数据集分解为若干部分(数据文件)的另一种技术。 分区和分桶其实都是对数据更细粒度的管理。当单个分区或者表中的数据越来越大，分区不能细粒度的划分数据时，我们就采用分桶技术将数据更细粒度的划分和管理 [CLUSTERED BY (col_name, col_name, …) stored by (uid des...

动态分区的设置 分区的类型 静态分区：加载数据到指定的分区的值 动态分区：数据未知，根据分区的值确定创建分区 混合分区：静态和动态都有 动态分区的设置 hive.exec.dynamic.partition=true/false --是否支持动态分区 hive.exec.dynamic.partition.mode=strict/nostrict --严格/非严格 hive.exec....

hive的分区操作 一、分区的原因作用 为什么分区 Hive的Select查询时，一般会扫描整个表内容。随着系统运行的时间越来越长，表的数据量越来越大，而hive查询做全表扫描，会消耗很多时间，降低效率。而有时候，我们需求的数据只需要扫描表中的一部分数据即可。这样，hive在建表时引入了partition概念。即在建表时，将整个表存储在不同的子目录中，每一个子目录对应一个分区。在查询时，我们就...

表属性的修改 修改表名 alter table oldTableName rename to newTableName； 修改列名：change column oldName newName colType; 修改列位置 alter table tableName change colum colnmae colname colType after colname2； 最后的列名是移动到coln...

hive的基本操作 创建数据库 create database if not exists mydb; create database mydb; create database if not exists mydb comment 'this is mydb';创建加上描述 删除数据库 drop database mydb; 可以删除空数据库 drop database cascade;强制...

建表 学生 create table student( s_id int, s_name string, dt string, sex string ) row format delimited fields terminated by '\t' ; 01 赵雷 1990-01-01 男 02 钱电 1990-12-21 男 03 孙风 1990-05-20 男 04 李云 1990-08-06 ...