- hadoop到s3
hadoop distcp hdfs:/user/hive/data/SearchRecord/2014-02-16 s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16
需要在core-site.xml中配置好fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey
注意s3的路径需要使用s3n
- s3到hadoop
hadoop distcp s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16/ hdfs:/user/hadoop/test/SearchRecord/2014-02-16
hadoop与s3之间互相传输文件
本文介绍如何使用Hadoop进行S3数据的上传和下载操作，并提供了具体的命令实例。同时，文中还强调了在core-site.xml文件中正确配置fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey的重要性。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
