zhuiqiuuuu的博客

python api,前端api:http://www.runoob.com/sitemappyspark api:http://spark.apache.org/docs/latest/api/python/

统计HDFS文件数量大小，小于20M文件数量hadoop fs -du -h / # 统计文件大小hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息，过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件...