大讲台谈Hive常见的问题及解决方案(二)

大讲台谈Hive常见的问题及解决方案(二)

本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助

问题1：hive 中如何处理外部文件中的字段值被双引号包围？

问题描述：现有外部文本文件，字段间以逗号分隔，每个字段被双引号包住，在创表的时候指定什么存储方式可以让hive在读数据时将双引号不读出来：

外部文本格式：

“111”,"zhangsan","23"

“112”,"lisi","26"

希望在hive的表中显示的时候

111 zhansan   23

112 lisi           26

解决方案：根据你给出的外部文本格式数据，当hive将外部数据导入表中的时候，无法直接实现你所需要的结果。

可以通过两个步骤来完成：

第一步：

通过FIELDS TERMINATED BY',' 字段分割，将外部文本数据导入比如test_tmp表中，过渡数据显示如下：

“111”"zhangsan" "23"

“112”"lisi" "26"

第二步：

通过内部函数或者自定义函数，将test_tmp表中的数据导入你需要的表比如test，这时test表就是你所需要的数据。最终数据显示如下：

111 zhansan   23

112 lisi           26

问题2：hive drop table命令没反应

问题描述：为什么的我drop table命令没反应呢？其他命令都正常，包括drop database。求解???

命令一直停在这，没反应

hive> drop table idtest;

日志显示到下面信息就没有反应了

2015-07-23 09:00:18,443 INFO  [main]: ql.Driver (Driver.java:execute(1205)) - Starting command: drop table idtest

debug模式，执行到下面信息也没反应了

 org.apache.hadoop.hive.metastore.ObjectStore.listTableAllColumnGrants(ObjectStore.java:4331)

15/07/23 09:02:44 [main]: DEBUG metastore.ObjectStore: Done retrieving all objects for listTableAllColumnGrants

15/07/23 09:02:44 [main]: DEBUG metastore.ObjectStore: Open transaction: count = 3, isActive = true at:

 org.apache.hadoop.hive.metastore.ObjectStore.listTableAllPartitionGrants(ObjectStore.java:4291)

15/07/23 09:02:44 [main]: DEBUG metastore.ObjectStore: Executing listTableAllPartitionGrants

这是我数据库的字集符，默认是utf8，创建库之后通过命令改回latin1的

character_set_clientutf8

character_set_connectionutf8

character_set_databaselatin1

character_set_filesystembinary

character_set_resultsutf8

character_set_serverutf8

character_set_systemutf8

character_sets_dir/usr/local/mysql/share/charsets/

解决方案：应该是Mysql的字符集原因。先把数据库改成latin1，再创建表.

问题3：hive在load data的时候老是出错是怎么回事啊？

问题描述：在hive中使用load data，语句如下：

load datalocal inpath '/home/hadoop/test.txt' into table table1;

结果给报了个异常：

Exception inthread "main" java.lang.NoSuchMethodError:org.apache.hadoop.fs.Path.<init>(Ljava/net/URI;)V

然后就退出hive了。这是怎么回事啊？

解决方案：应该是hive使用的hadoop版本跟实际使用的版本不一致导致的