大数据
db_guy
前行亦是归途
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Sqoop解决宽表内存溢出OutOfMemoryError
oracle里面导入一张大款表,字段数非常多,而且有很多长文本,这些文本都需要用到,导入的时候报错OutOfMemoryError,内存溢出错误。 解决办法之一是增加内存,目前情况来说不显示,于是我采用另一种方法:减小 cache到内存的记录条数,即使用–fetch-size选项调整fetchSize。fetchSize默认值为1000,这里我们把它调小到200: sqoop import \ ...原创 2019-08-20 15:29:38 · 3532 阅读 · 2 评论 -
多种HDFS存储格式下的Sqoop全量和增量导入
背景环境介绍 CentOS 6.7 MySQL 5.7 Coudera 5.13.0 1.准备数据(MySQL) 1.在mysql中创建一张sqp_test表 drop table if exists sqp_test; create table sqp_test( id bigint PRIMARY KEY AUTO_INCREMENT COMMENT '主键ID', c1...原创 2019-08-17 17:58:49 · 876 阅读 · 1 评论
分享