
Sqoop
文章平均质量分 51
记录Sqoop使用遇到的问题和解决方案
张六十zhangliushi
哪有什么天生如此,只是我们天天坚持。
展开
-
Sqoop数据接入的经验分享和思考
文章目录前言一、Sqoop增量接入二、Sqoop全量接入总结前言当我们将关系型数据库数据接入到集群时,一般会考虑选择增量接入还是全量接入,这两种接入方式会影响数据源在数仓ods层结构。一、Sqoop增量接入增量接入一般可以根据数据更新时间字段来筛选数据库表新增的数据,只将只部分数据接入到集群,对于历史数据直接一次性接入放在第一个分区。这种方式更加节省资源,但需要仔细确认好数据源的更新规则,避免出现数据缺漏的情况。二、Sqoop全量接入全量接入是直接将数据库的数据全部接入到集群,相当于全量复原创 2021-12-30 14:45:00 · 1576 阅读 · 0 评论 -
Sqoop export时报错transitioned from state FAIL_FINISHING_CONTAINER to FAILED
项目场景:Sqoop做hive2pg时报错问题描述:查看hadoop日志发现报错信息为:transitioned from state FAIL_FINISHING_CONTAINER to FAILED, event type is TA_CONTAINER_CLEANED 原因分析:报错信息提示容器问题,判断可能是两表对应字段的数据类型有冲突。解决方案:检查hive表各字段数据类型和关系型数据库表对应字段的数据类型是否一致,上述报错是因为hive表字段类型为string,其数据原创 2021-11-26 11:09:57 · 558 阅读 · 0 评论 -
Sqoop接入数据时统一空值
Sqoop接入时统一处理null值原创 2021-11-30 20:44:17 · 1978 阅读 · 0 评论