
hive
weixin_39610040
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
1、hive安装
1.hive只需要安装在 hadoop主节点上root用户安装,并授权2.[root@h91 ~]# vi /etc/profile(需要reboot重启虚拟机)或者可以 [hadoop@h91 ~]$ vi .bash_profile (切换用户再切换回来即可)添加export HIVE_HOME=/usr/local/hive-0.7.1-cdh3u5export HADOOP_HOME=/u原创 2018-01-19 00:15:02 · 351 阅读 · 0 评论 -
2、hive导入、导出、删除
一、Hive的几种常见的数据导入方式(插入过程中,不做源数据检测,即:什么数据都可以插入,只是查询时会报空值)这里介绍四种:(1)从本地文件系统中导入数据到Hive表;(2)从HDFS上导入数据到Hive表;(3)从别的表中查询出相应的数据并导入到Hive表中;(4)在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中[hadoop@h91 hive-0.9.0-bin]$ bin/h转载 2018-01-19 00:16:34 · 387 阅读 · 0 评论 -
hive_sql
进入hive shell#hive或者hive --service cliHive 的启动方式:hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive –service clihive web界面的启动方式,hive –service hwi hive 远程服务 (端口号10000) 启动方式,hive --service hiveserverhive转载 2018-01-19 00:17:04 · 717 阅读 · 0 评论 -
shell常见脚本
-e filename 如果 filename存在,则为真-d filename 如果 filename为目录,则为真-f filename 如果 filename为常规文件,则为真-L filename 如果 filename为符号链接,则为真-r filename 如果 filename可读,则为真-w filename 如果 filename可写,则为真-x filename 如果 file转载 2018-01-19 00:17:33 · 489 阅读 · 0 评论 -
hive 数据类型
关系数据库里有表(table),分区,hive里也有这些东西,这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型,数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。 首先我要讲讲hive的数据类型。 Hive支持两种数据类型,一类叫原子数据类型,一类叫复杂数据类型。 原子数据类型包括数值型、布尔型和字符串类型,具体如下表所示:基本数据类型类型描述转载 2018-01-19 00:18:10 · 984 阅读 · 0 评论 -
分区表和纬度表的创建
1.创建复杂类型的表(array)create table qq1(id int,name string,xingge array)row format delimited fields terminated by ' 'collection items terminated by ',';2.数据源101 zs haha,hehe,heihei102 ls haha,gaga,wawa3.载入数转载 2018-01-19 00:18:29 · 649 阅读 · 0 评论 -
hive优化
1.hive小文件合并输出合并合并输出小文件。输出时,若是太多小文件,每个小文件会与一个block进行对应,而block存在的意义是为了方便在namenode中存储,那么过多的block将会充斥namenode的表中,待集群规模增大和运行次数增大,那么维护block的表将会过大,严重降低namenode性能。set hive.merge.mapfiles = true #在Map-only的任务结转载 2018-01-19 00:18:50 · 239 阅读 · 0 评论