
Hive
luoyunfan6
LuoYunfan
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive------安装与配置
1.下载hive的安装包链接:https://pan.baidu.com/s/16Bo08RnawlS-wNymzxpJ6w 提取码:8u6y2.解压安装包到某个目录3…vi /etc/profile配置hive的环境变量4.到hive目录下的conf中,配置hive-site.xml注意:保证已经安装mysql给mysql设置可以远程访问给root用户授权限grant all ...原创 2019-08-20 21:56:05 · 282 阅读 · 0 评论 -
hive------几种hive优化方法
hive的优化1.通过explain或者explain extended来查看执行计划。explainselect * from u3;//执行结果------------------------------------------STAGE DEPENDENCIES: Stage-0 is a root stageSTAGE PLANS: Stage: Stage-0...原创 2019-08-17 19:48:24 · 473 阅读 · 1 评论 -
hive------执行方式和数据同步
hive执行方式hive默认的列与列的分隔符:^Atab\n^A \001 u/0001 SOH^b \002hive的执行方式1.hive在cli端执行2.linux命令行3.执行hive的hql脚本4.java+驱动来链接hiveusage: hive -d,--define <key=value> Variable subsi...原创 2019-08-17 16:02:22 · 887 阅读 · 0 评论 -
hive------索引和视图
索引索引是数据库标配的技术,hive索引从0.7以后才开始支持的。hive索引优缺点 优点:避免全表扫描或者减小扫描数据流,提高查询效率 缺点:将会有冗余存储,加载数据耗时索引特点 索引文件本身有序,索引文件较小测试索引1.创建表create external table if not exists log1(id string COMMENT 'this is id c...原创 2019-08-17 14:17:11 · 231 阅读 · 0 评论 -
hive------文件存储格式和记录格式
create table if not exists u(id int,name string)comment ''row format delimited fields terminated by '\t'lines terminated by '\n'stored as textfile; //存储格式,默认是使用文本文件(textfile)hive几种文件存储格式1.*...原创 2019-08-17 11:51:09 · 305 阅读 · 0 评论 -
hive------内部函数与自定义函数
hive的内部函数获取0-1的随机数: select rand(); select rand(); //固定值切割split select split(rand()*100,’\\.’)[0] //获取0-100随机数的整数四舍五入 select round(rand()*100,x); //x是保留几位小数,默认是取(整数.0)截取 select substri...原创 2019-08-16 21:35:53 · 261 阅读 · 0 评论 -
hive------数据类型
基础数据类型tinyint 1smallint 2int 4bigint 8String 可变boolean 1double 8float 4timestamp 时间格式2019-8-8 12:11:00binary 字节数组java中有的数据类型在hive中没有:long、byte、char、short复杂数据类型array:字段名 Array<...原创 2019-08-15 11:21:17 · 287 阅读 · 1 评论 -
hive------分区表
建立分区表的原因: 单表数据量随着时间越来越大。为了避免全表扫描,引入分区。hive分区和mysql分区表的区别??hive分区使用表外字段,mysql使用表内字段。hive分区表细节?1.hive分区的字段是一个伪字段,它不会在表中真实存在,可以用来过滤查询等2.一个表或者一个分区可以有多个分区,而每一个分区都是以目录的形式存在。怎么分区?根据业务,地域,年,...原创 2019-08-08 17:39:51 · 306 阅读 · 2 评论 -
Hive------基本语句
hive基本语句创建库:craete database if not exists online;显示库:show databases;切换库:use databasename;删除表:drop table if exists u1;删除空库:drop database if exists name;强制删除库:drop database if exists name ca...原创 2019-08-01 21:14:26 · 144 阅读 · 0 评论