上传本地文件到HDFS

最新推荐文章于 2024-06-01 10:11:26 发布

Zoe_Wong

最新推荐文章于 2024-06-01 10:11:26 发布

阅读量4.3k

点赞数 2

分类专栏： hadoop 文章标签： hadoop 文件系统 hdfs

本文链接：https://blog.youkuaiyun.com/zzooeefly/article/details/88634234

版权

1. 根据配置文件得到三个待用目录

hdfs远程文件备份目录（hdfs备用目录）

hdfs远程文件归档目录（hdfs正式路径）

hdfs的文件操作封装成工具类，随时供调用

public class HDFSUtil {

	protected static Configuration conf;
	protected FileSystem hdfs;
	private Comparator<? super LocatedFileStatus> fileCompare;

	public HDFSUtil() {
		try {
			if (conf == null) {
		      conf = new Configuration();
			}
            //获取配置的文件系统
			hdfs = FileSystem.get(conf);
		} catch (IOException e) {
			throw new BaseException("HDFS读取配置文件获取连接操作异常！");
		}
        //文件比较器定义，即修改时间不同的文件，即为“不同的”文件
		fileCompare = new Comparator<LocatedFileStatus>() {
			@Override
			public int compare(LocatedFileStatus o1, LocatedFileStatus o2) {
				int rs = 0;
				long l1 = o1.getModificationTime();
				long l2 = o2.getModificationTime();
				if (l1 > l2) {
					rs = 1;
				} el