sqoop将pgsql导入数据hive问题（ERROR orm.ClassWriter: Cannot resolve SQL type 1111）

解决PgSQL UUID导入Hive问题
最新推荐文章于 2025-06-18 21:27:21 发布
原创 最新推荐文章于 2025-06-18 21:27:21 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决从PgSQL导入数据到Hive时UUID类型转换的问题，提供了两种解决方案：修改sqoop源码或使用cast()函数提前转换uuid为varchar类型。
部署运行你感兴趣的模型镜像

解决sqoop pgsql数据导入到hive中 uuid无法转化的问题

错入如下
在这里插入图片描述
解决1：如果有有精力和时间的话，可以去sqoop的jar中中找到ClassWriter类，然后去添加上uuid类型转化成hive中的字段，在此不介绍这种方法

解决2：在sqoop中的命令中的sql查询进行数据类型转化函数 cast（） 如下
在这里插入图片描述
将uuid类型提前转换成varchar类型 在hive中对应出string类型

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

hive源数据通过sqoop数据集成工具导入到mysql报：ERROR tool.ExportTool: Error during export
hellowangxiansheng的博客
04-07 773
除了hive表结构之外，我们再检查一下hive的数据，在hdfs/user/hive/warehouse/co中，可以在linux中hadoop fs -cat /user/hive/warehouse/co查看，为了方便我这里选择在windows中下载查看。在检查后我发现两个表结构是完全一致的，也有可能是hive的分隔符弄错了（–input-fields-terminated-by ‘,’），检查后也没有问题，hive中确实使用建表的’,’作为分隔符，那为什么会报错嘞？desc [表名];
sqoop--＞hive导入数据遇到的问题；拒绝连接和ERROR tool.ImportTool: Import failed: java.io.IOException （status44）
qq_45112156的博客
07-22 2364
问题一；拒绝链接 20/07/22 10:58:33 INFO mapreduce.Job: map 0% reduce 0% 20/07/22 10:58:36 INFO mapreduce.Job: Task Id : attempt_1595382831037_0006_m_000000_0, Status : FAILED Error: java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.jdbc.exceptions
eclipse中The import java.sql cannot be resolved问题的解决
mad-coding Blog
03-10 2万+
问题描述： The import java.sql cannot be resolved 问题原因：jdk环境出现问题，需要在build path中重新配置即可 解决步骤：对出现的问题的项目右击——》build path——》configure build path，如图 问题解决 ...
SQL中的cast()函数介绍
weixin_33843947的博客
10-23 573
CAST函数用于将某种数据类型的表达式显式转换为另一种数据类型。CAST()函数的参数是一个表达式，它包括用AS关键字分隔的源值和目标数据类型。语法：CAST (expression AS data_type)参数说明：expression：任何有效的SQServer表达式。AS：用于分隔两个参数，在AS之前的是要处理的数据，在AS之后是要转换的数据类型。data_type：...
sqoop抽postgre库报错：No Java type for SQL type 1111 for column
码不停歇的博客
06-18 177
【代码】sqoop抽postgre库报错：No Java type for SQL type 1111 for column。
不受支持的SQL类型1111
我的博客
05-03 2495
当MyBatisinsert或者update语句的变量含有空值(null值) 时，需要指定JdbcType 否则：java.sql.SQLException: Invalid column type: 1111 无效的列类型: 1111 解决方法：给参数加上 jdbcType 可解决(注意大小写) insert into xxx(a,b) values( #{a,jdbcType=VARCHAR}, #{b,jdbcType=DATE} ) update xxx set a=#{a,jdbcType=
sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
xiaobao5214的博客
11-30 4146
[root@hadoop4 bin]# sqoop create-hive-table  --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t" Warning:...
Sqoop导数据到Hive中报错：java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf
zp17834994071的博客
09-03 1627
在使用Sqoop把MySQL数据导入到Hive中的时候报了一个错： ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50) at org.a
sqoop导入数据到mysql时报错：ERROR tool.ExportTool: Error during export: Export job failed
weixin_55797565的博客
12-26 2747
ubuntu伪分布式hdfs中用sqoop工具将hive仓库中的数据导出导入到mysql数据库里时出现的错误。 尝试一下 将~/tmp/sqoop-chen/compile/中生成的文件夹里面的.jar.java.calss文件复制到/usr/local/sqoop/lib/文件夹里面，然后再次运行导出导入命令 上面的sqoop-chen目录是 sqoop-用户名 导出导入命令： 上面的解决办法： 再次运行后出现下图代表导出导入成功了： 查看mysql： ...
使用Sqoop从Postgresql中导入数据到Hive中
kongxx的专栏
01-10 4458
这里假定已经准备好了现成的Hadoop，Hive，Hbase，Zookeeper和一个postgresql数据库。 下载安装 从 http://mirror.bit.edu.cn/apache/sqoop/ 地址下载 sqoop 安装包，这里我使用的是1.4.7版本。 wget -c http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.b...
sqoop将postgresql表导入hive表
tianyeshiye
07-16 1533
使用sqoop导入数据至hive常用语句直接导入hive表 sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相...
sqoop(3):import之mysql/sqlserver/pgsql/Oracle To hive
小蚯蚓的博客
11-11 794
一、mysqlToHive 1.配置 （1）往/etc/profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/* 然后刷新配置 source /etc/profile （2） 把hive-site复制到sqoop中！ cp ../hive-1.2.1/conf/hi...
pg数据表同步到hive表数据压缩总结
zcc_0015的专栏
09-22 897
pg同步hive
Hive数据类型、数据库相关操作、表的相关操做、数据的导入导出
yingzi的技术博客
01-22 1030
文章目录Hive数据类型1.基本数据类型2.集合数据类型案例实操3.类型转化数据库的相关操作1.创建数据库2.查询数据库3.修改数据库4.删除数据库表的相关操作1.建表2.管理表3.外部表4.管理表与外部表的互相转换5.重命名表6.增加/修改/替换列信息7.删除表DML数据操作1.数据导入1）向表中装载数据2）通过查询语句向表中插入数据（Insert）3) 查询语句中创建表并加载数据(As Select)4）创建表时通过Location指定加载数据路径5）Import数据指定Hive表中2.数据导出1）In
关于解决Cannot resolve com.microsoft.sqlserver:sqljdbc4:4.0报错问题
热门推荐
一个一直在努力的前端小白，在为了成为全栈程序员的道路上加油！
10-27 2万+
最近突然想到报错问题在pom文件中添加依赖：出现报错问题。
Sqoop从PostgreSQL导入Hive遇到的两个问题
数据源的港湾
04-03 3383
昨天尝试使用Sqoop从PostgreSQL向Hive中迁移数据，过程中遇到两个问题，在此记录一下，以备以后遇到类似问题可以快速找到解决方案。 问题1：当PostgreSQL表中有json类型时Sqoop命令报以下错误 No Java type for SQL type 1111 for column voting_info 解决方案：sqoop命令中添加以下类型映射 --...
mybatis
Wolves_7的博客
10-25 228
ORM 框架 object relationship mapping java对象 关系型数据库 映射 定义java对象与数据库表之前的映射关系，让增删改查操作变得简洁   1)在pom中加入mybatis <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis...
Sqoop1 From PostgreSQL to Hdfs
crazy_stone0002的博客
07-30 248
环境: Sqoop1 Install And Test MySQL/PostgreSQL 参数解析： --connect： JDBC连接URL --username：连接数据库用户名 --pas...
2025-10-15 19:38:01,488 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErrorException: Table 'nshop.base_area' doesn't exist java.sql.SQLSyntaxErrorException: Table 'nshop.base_area' doesn't exist at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120) at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122) at com.mysql.cj.jdbc.ClientPreparedStatement.executeInternal(ClientPreparedStatement.java:953) at com.mysql.cj.jdbc.ClientPreparedStatement.executeQuery(ClientPreparedStatement.java:1003) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:777) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:786) at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:289) at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:260) at org.apache.sqoop.manager.SqlManager.getColumnTypesForQuery(SqlManager.java:253) at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:336) at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1872) at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1671) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252) 2025-10-15 19:38:01,498 ERROR tool.ImportTool: Import failed: java.io.IOException: No columns to generate for ClassWriter at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1677) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
最新发布
10-16
### 解决 'java.io.IOException: No columns to generate for ClassWriter' 错误 - **检查数据库驱动版本**：该错误可能是由于数据库驱动的旧版本存在 bug 导致的。例如，MySQL 驱动 `mysql-connector-java.jar` 或 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值