Hadoop学习（四）——Hive学习2

最新推荐文章于 2024-10-30 15:15:02 发布

原创

最新推荐文章于 2024-10-30 15:15:02 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop #Hive json #数据为空 #SQL Server #Hive事务

Hadoop学习（四）——Hive学习2

目录：

1、报错：Hive import json data建表报错：

2、报错：Hive load Json数据文件到表中，发现数据全部为null：

3、数据标签：给vType字段打标签：

4、报错：Sqoop从Hive中export数据到SqlServer时驱动问题：

5、Hive启用事务：

1、报错：Hive import json data建表报错：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.openx.data.jsonserde.JsonSerDe

解决办法：

（1）进入目录：/usr/hdp/2.4.2.0-258/hive/lib

sudo git clone https://github.com/rcongiu/Hive-JSON-Serde.git

图1.1 截图1

（2）发现pom文件中没有2.4版本的profile，修改pom文件：

<hdp24.version>2.4.2</hdp24.version>
<hdp24.hive.version>1.2.1</hdp24.hive.version>
<hdp24.hadoop.version>2.7.1</hdp24.hadoop.version>
<hadoop.dependency>hadoop-common</hadoop.dependency>
 <profile>
<id>hdp24</id>
<activation>
<activeByDefault>false</activeByDefault>
</activation>
<modules>
<module>json-serde-cdh5-shim</module>
</modules>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<serde.shim>json-serde-cdh5-shim</serde.shim>
<cdh.version>${hdp24.version}</cdh.version>
<cdh.hive.version>${hdp24.hive.version}</cdh.hive.version>
       <cdh.hadoop.version>${hdp24.hadoop.version}</cdh.hadoop.version>
<cdh.shim>cdh5</cdh.shim>
</properties>
</profile>

（3）执行mvn clean package -P hdp24，发现报错：

Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.10:test (default-test) on project json-serde: There are test failures.

这是由于测试代码遇到错误，停止编译，因此需要在该pom文件下该插件上加入这行： <testFailureIgnore>true</testFailureIgnore>，使得测试出错不影响项目的编译。