温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在使用Sqoop命令进行数据抽取时,执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件,脚本执行成功后这些生成的临时文件并不会自动的清除。该问题是官网已知的一个JIRA,具体可信息如下链接:
https://issues.apache.org/jira/browse/SQOOP-3042

本篇文章Fayson主要介绍通过脚本的方式,在用户执行Sqoop命令时自动的清理产生的临时编译目录。
- 内容概述
1.环境准备
2.Sqoop配置清理脚本及验证
3.总结
- 测试环境
1.RedHat7.3
2.CM和CDH版本为5.15
2.环境准备
1.在集群所有节点安装tmpwatch,命令如下:
[root@cdh03 ~]# yum -y install tmpwatch
(可左右滑动)

2.通过CM安装“Sqoop 1 Client1”服务

选择Gateway节点

部署客户端配置

本文介绍了如何解决Sqoop在执行数据抽取时,`/tmp/sqoop-${user}/compile`目录下产生的临时编译文件不自动清除的问题。通过在集群节点上安装`tmpwatch`,并在`Sqoop 1 Client`服务配置中添加清理脚本,实现了1小时后自动清理编译目录。 Sqoop的这个问题在3.0.0版本之后才得到修正,但CDH版本中尚未修复。
最低0.47元/天 解锁文章
2662

被折叠的 条评论
为什么被折叠?



