Hive
关注
分享
扫一扫
訾零
做喜欢的事，过玩味的生活。
展开
-
Spark 远程读写 Hive (HDFS) 失败
[WARN] - I/O error constructing remote block reader.java.net.ConnectException: Connection timed out: no further information ...[WARN] - Connection failure: Failed to connect to /10.0.0.24...原创 2020-03-02 14:53:58 · 2871 阅读 · 0 评论 -
Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy
No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy建表drop table if exists `conf_base_source`;create table if not exists `conf_base_source` ( `id` int comment 'id', `...原创 2019-11-27 10:30:52 · 1698 阅读 · 0 评论 -
Hive 指定位置添加字段
1. 添加字段，cascade 刷新元数据。alter table tmp_cp_role_rank_log add columns(oaid string comment '设备序列号') cascade;2. 重排序，修改字段位置。Orc+Snappy压缩表不能重排序。alter table tmp_cp_role_rank_log change column oaid oa...原创 2019-11-26 17:41:57 · 4227 阅读 · 0 评论 -
Hive 重建外部表加载分区数据
重建外部表后，location 指定了数据位置，但是分区数据没有加载，可以使用msck命令修复分区信息。msck repair table table_name;原创 2019-11-25 14:42:48 · 2181 阅读 · 0 评论 -
Spark读取Hive报错：java.lang.outofmemoryerror: java heap space
Spark本地测试Hive数据时，报错：java.lang.outofmemoryerror: java heap space因为是本地测试，内存足够，所以IDEA中增大内存。Run/Bebug Configurations 中 VM options 设置-Xmx2048m，问题同样。基本排除了是内存不足的问题，可能存在问题的地方。1. AppName检查 Spar...原创 2019-09-20 04:43:16 · 2317 阅读 · 1 评论 -
Hive导入数据问题：mismatched input 'Sep' expecting ) near 'Thu' in load statement
FAILED: ParseException line 1:151 mismatched input 'Sep' expecting ) near 'Thu' in load statement用脚本Hive导入数据时出现错误#!/bin/bashDB=sm_data# 如果没输入日期取前一天if [ -n "$1" ] ;then do_date=$1else...原创 2019-09-19 16:03:48 · 12413 阅读 · 0 评论 -
Hive函数
1. 内置函数show functions; // 查看内置函数desc function 函数名; // 查看函数描述信息desc function extended 函数名; // 查看函数详细信息1.UDFUDF（user defined function） 自定义函数，一对一，进一条数据解析出来一条。...原创 2019-09-12 13:19:56 · 379 阅读 · 0 评论 -
HiveDML表数据操作
DML ( Database Manipulation Lanuage ) 数据库操作语言，如 load、select 、update 、insert。主要用来对数据库的数据进行一些操作。目录1. load 数据加载 1. 导入HDFS数据 ( 移动 ) 2. 导入服务器本地数据 ( 复制 ) 2. insert 数据插入 1. 单条数据插入 2. 多条数据插入 3. 多重...原创 2019-09-06 13:25:38 · 674 阅读 · 0 评论 -
HiveDDL库表操作
DDL( Database Defined laniage ) 数据库定义语言，如create、alter、drop。主要用于定义或改变表结构、数据类型、表之间的链接和约束等初始化工作。目录1. 库操作 2. 表操作 1. 建表语句说明 2. 创建表 1. 内部表 2. 外部表 3. 分区表 4.分桶表 5. 复制表 like 6 查询表 3. 查看表 4. 查...原创 2019-09-06 11:57:59 · 458 阅读 · 0 评论 -
Hive建表、导入数据
目录1. 建表语句 2. 建表 1. 普通表 2. 外部表 3. 分区表 2. 导入数据 1. Load data 2. Insert ...Select 3. alter 分区操作1. 建表语句建表语句CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name -- 建(外部)表,(存在删除表) [(co...原创 2019-09-05 18:29:02 · 810 阅读 · 0 评论 -
Hive常用输入和压缩建表语句
Text普通文本create table `cp_api_log`(`line` string)partitioned by (`date` string)row format delimited fields terminated by '\t' lines terminated by '\n'stored as textfile-- 或 stored as 直接指定输入输出格...原创 2019-09-05 17:30:39 · 2957 阅读 · 0 评论 -
Hive小文件合并
Hive迁移数据时发现大量小文件，严重影响Hive执行效率，在这里记录下小文件合并的问题。小文件产生的原因执行MapReduce任务时，通过会作一些优化，比如增加Reduce并行度来提升计算效率。而Reduce的增多意味着输出结果文件的增多，所以会产生小文件问题。小文件产生的问题NameNode存储元数据信息，包括HDFS的抽象目录树结构，存储数据和block分块对应关系...原创 2019-08-23 15:49:58 · 2814 阅读 · 0 评论 -
CDH平台Hive压缩设置
主要是对CDH6.0.1平台，Hive的压缩进行设置。查看Hive支持的压缩方式set io.compression.codecs;io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoo...原创 2019-08-16 14:04:44 · 1288 阅读 · 0 评论 -
Hive数据迁移过程和添加压缩
数据迁移时，发现以前的Hive表都是没有压缩的，为了提高效率和节约资源，将Hive表添加压缩。背景：原集群CDH5.16、Hive1.1，新集群CDH6.0.1、Hive2.1。基本思路1. 从其他集群把Hive数据discp到本地集群2. 先将数据导入Hive，只改动表名当做临时表3. 建压缩表4. 从临时表将数据导入压缩表目录1. 备份建表结构2. ...原创 2019-08-16 13:31:26 · 1029 阅读 · 0 评论 -
Hive中文注释乱码
查看表时，发现comment注释的中文是一堆问号。Hive的元数据存在MySQL中，查看MySQL的COLUMNS_V2表，可以看到字符集是latin1。show create table COLUMNS_V2;解决方法修改其中有关COMMENT的设置，但是只对新建的表有效，原来的表只能通过alter修改注释才可以。# 建库时hive的库名改的met...原创 2019-08-14 15:45:09 · 900 阅读 · 0 评论 -
Hive建表语句批量导出导入
带参数，手动指定数据库#!/bin/bash##批量获取hive建表HQL脚本#输入数据库DB=$1#获取hive建表语句tables=$(hive -e "use $DB; show tables;")for table in $tables;do echo "--============ db: $DB , table: $table =======...原创 2019-07-05 17:40:57 · 6156 阅读 · 5 评论 -
Hive跨集群和版本迁移
公司重新搭建CDH6.0.1，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。步骤：目录步骤：1. 迁移Hive数据和MySQL中的matastore1. 迁移Hive数据至新集群，在新集群上执行2. 在源集群上MySQL导出Hive metastore3. 在新集群使用Hive用户导入metastore4. 升级Hive库5. 修改meta...原创 2019-07-05 17:22:17 · 1477 阅读 · 1 评论 -
hive -e/Hive -f 出现WARN问题
hive -e 是执行指定SQL，-f 是执行指定HQL文件。hive -e /-f 会出现WRN：WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.WARN: Please see http://www.slf4j.org/codes.html#r...原创 2019-07-04 18:32:19 · 2954 阅读 · 0 评论 -
Spark读写Hive
1. maven依赖添加spark-hive、mysql-connector-java <properties> <spark.version>2.3.3</spark.version> <mysql.version>8.0.15</mysql.version> </propert...原创 2019-06-18 09:30:13 · 1257 阅读 · 0 评论