本文介绍两种比较HDFS中文件是否相同的方法：一是通过shell命令'diff'，二是使用HDFS API获取文件校验和进行对比。适用于大数据环境下的文件一致性检查。
两种方式：
1. diff <(hadoop fs -cat /path/to/file) <(hadoop fs -cat /path/to/file2)
2. 利用hdfs api：
FileSystem fs = FileSystem.get(conf);
chksum1 = fs.getFileChecksum(new Path(/home/test1/test1.txt));
chksum2 = fs.getFileChecksum（new Path（/home/test1/test2.txt））;
return chksum1 == chksum2;
扫一扫
107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
