ten_k的博客

Spark哪些算子用到shuffle？去重运算：distinct聚合运算：reduceByKey、groupByKey、aggregateByKey等排序运算：sortBy、sortByKey分区运算：repartition、coalesce集合运算：交、差、并，即 intersection、subtract、join，leftOuterJoin等Transformation和Action算子transformation：由一个RDD运算得到一个新的RDD，惰性运算，不会立即执行act

cat命令// 查看文件所有行的数据hadoop fs -cat filename// 查看总行数hadoop fs -cat filename | wc -l// 查看.gz文件hadoop fs -cat filename | zcat// (按空格)翻页查看hadoop fs -cat filename ｜ more// 查看从第s行开始的k行数据hadoop fs -cat filename | tail -n +s | head -n k// 将多个不同位置的文件合