ten_k的博客

Spark哪些算子用到shuffle？ 去重运算：distinct 聚合运算：reduceByKey、groupByKey、aggregateByKey等 排序运算：sortBy、sortByKey 分区运算：repartition、coalesce 集合运算：交、差、并，即 intersection、subtract、join，leftOuterJoin等 Transformation和Action算子 transformation：由一个RDD运算得到一个新的RDD，惰性运算，不会立即执行 act

cat命令 // 查看文件所有行的数据 hadoop fs -cat filename // 查看总行数 hadoop fs -cat filename | wc -l // 查看.gz文件 hadoop fs -cat filename | zcat // (按空格)翻页查看 hadoop fs -cat filename ｜ more // 查看从第s行开始的k行数据 hadoop fs -cat filename | tail -n +s | head -n k // 将多个不同位置的文件合