hive
关注
分享
扫一扫
文章平均质量分 67
浮生若梦1379
这个作者很懒，什么都没留下…
展开
-
hive文件格式
1TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。2SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。支持三种压缩选择：NONE, R...原创 2019-07-06 15:27:08 · 243 阅读 · 0 评论 -
Hive 设置map 和 reduce 的个数
一，控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例：a) 假设input目录下有1个文件a,大小为780...转载 2019-07-10 20:41:05 · 375 阅读 · 0 评论 -
1hive总结
1hive元数据管理1库，表的基本信息，包括表名，存储类型及地址，分区信息列等 2已经注册的UDF相关信息 3用户，权限相关信息2spark ThriftServer1 spark sql处理 2sql语法解析 3逻辑执行计划生成及优化 4物流执行计划及优化3表，分区与桶内外表 数据格式（推荐parquet存储） 分区（基于文件目录index） 桶（大表join）...原创 2019-06-29 13:38:17 · 160 阅读 · 0 评论 -
HiveQL (HQL) 与 SQL 区别
Hive的查询语言是HQL，HQL支持SQL-92标准，所以与SQL非常相似。但由于Hive是基于Hadoop，而SQL通常是基于关系型数据库，这使得HQL与SQL相比有一些区别和局限。HQL不支持行级别的增、改、删，所有数据在加载时就已经确定，不可更改。不支持事务。支持分区存储。...转载 2019-06-27 17:13:26 · 1942 阅读 · 0 评论 -
hive映射hbase，通过phoenix查询该表
rowkey:key(生成规则待定)列族(单列族)：cf1列名: id,name,code1在hive中建表映射到hbaseCREATE TABLE tmp.test_hbase_phoenix(key string,id int,name string,code string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageH...原创 2019-06-07 15:22:58 · 1364 阅读 · 0 评论 -
hiveserver2启动失败，报Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.
1启动hiveserver2时候报错Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecate...原创 2019-05-27 22:32:08 · 2079 阅读 · 0 评论 -
load
Load在将数据加载到表中时， Hive 不会进行任何转换。 加载操作是将数据文件移动到与 Hive表对应的位置的纯复制/移动操作。语法结构LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTOTABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]说明：1、 filep...原创 2019-05-12 16:52:13 · 469 阅读 · 0 评论 -
hive创建外部表，导入数据
在HDFS创建分区，并存有文件手工创建或者由程序在HDFS上生成了分区目录，每个分区目录下有相应的文件。vi test.txt2;Lily;1991;Shanghai3;Jack;1992;Guangxi4;Jenny;1999;Xinjiang5;Jay;1995;Xizang6;Tom;1990;Beijing7;Lily;1991;Shanghai8;Jack;1992...原创 2019-05-12 14:13:22 · 12534 阅读 · 0 评论 -
hive中COMMENT乱码
1.问题描述默认Hive中创建有中文注释的表时，无论是在Hive CLI还是Hue中该注释显示都会是乱码mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || amon || cm ...原创 2019-05-12 13:48:19 · 635 阅读 · 0 评论 -
hive精选50题
Hive sql语句必练50题-入门到精通(1)spark-shell –master spark://node1:7077 –executor-memory 1g –total-executor-cores 2 –jars /export/server/hive/lib/mysql-connector-java-5.1.32.jar –driver-class-path /expo...原创 2019-05-25 13:15:12 · 1023 阅读 · 0 评论 -
hive调优案例
Hive 优化核心思想：把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行select仅查询本表字段where仅对本表字段做条件过滤Explain 显示执行计划EXPLAIN [EXTENDED] query0: jdbc:hive2://node1:10000> explain select count(student.sno) f...原创 2019-05-25 13:00:58 · 290 阅读 · 0 评论 -
hive练习案例
本地模式set hive.exec.mode.local.auto=true; 创建的表：create table if not exists employee( name string comment 'employee name', salary float comment 'employee salary', subordinates array<st...原创 2019-05-25 12:51:25 · 737 阅读 · 0 评论 -
hive基本操作
1． DDL 操作1.1． 创建表建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type ...原创 2019-05-25 12:10:39 · 378 阅读 · 0 评论 -
hive动态分区
动态分区：分区的值是非确定的，由输入数据来确定如果用上述的静态分区，插入的时候必须首先要知道有什么分区类型，而且每个分区写一个load data，太烦人。使用动态分区可解决以上问题，其可以根据查询得到的数据动态分配到分区里。其实动态分区就是不指定分区目录，由系统自己选择。首先Hive 有一张表 person_par，如下：hive> select * from person_par;...原创 2019-05-15 14:59:16 · 318 阅读 · 0 评论 -
hive查看建表语句
查看hive建表语句：show create table tablename;查看hive表结构：describe tablename; 简写：desc tablename;原创 2019-05-15 14:11:45 · 30799 阅读 · 2 评论 -
Hive 的权限控制
Hive 的权限控制Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：< property> < name>hive.security.authorization.enabled<...转载 2019-07-31 21:12:12 · 354 阅读 · 0 评论