gxd520的专栏

本文是我搭建Hive on Spark的一些经历，包括踩的各种坑，记录一下首先说一下本人为什么要搭建Hive on Spark呢？因为本人使用的是Hive 2.1.1，每次输入hive命令准备启动Hive客户端的时候，命令行都会输出这样的一段信息:信息中明确的说明了Hive on MapReduce在Hive 2中是过时的，并且在Hive未来的版本中可能是不可用的。推荐我们使用其他的执行引擎...

对Hive分区表进行新增字段后，会出现一个奇怪的情况，就是往 已经存在的 分区中装载数据后，某些字段的值显示为null，但实际情况是数据文件中对应的字段值其实是有值的。下面我们重现该问题：创建一个分区表往表中装载数据给表新增分区再往表中装载数据并查询数据装载成功后，通过查询可以看出，新创建的分区中数据显示正常，但是已经存在的time=20171010分区中新增数...

Hive中数据导入导出还是很常用的，下面简单记录一下这几种方式，方便查阅。数据导入在将文件中的数据导入都Hive表中的时候，字段的分隔符只有在建表的时候指定，导入的时候无法指定字段分隔符。本地文件系统导入到Hivehive> load data local inpath '/home/hdfs/user.txt' into table user;分区表hive> loa...

在spark或者hive中启动beeline的时候，突然报了java.lang.OutOfMemoryError，错误如下：Exception in thread "main" java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:2271) at java.io.ByteArra...

很多人会认为Hive命令行只是一个执行HQL语句的控制台，其实它没你想的那么简单，还有很多实用的用法，这里就简单介绍一下。查看Hive的帮助文档[hdfs@cdh01 ~]$ hive -Husage: hive -d,--define <key=value> Variable subsitution to apply to hive ...