
Hadoop
Fight_Now
这个作者很懒,什么都没留下…
展开
-
Hadoop中如何查看block块大小
一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。1.1 终端命令方式查看[xiaoyu@Hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7转载 2016-09-21 11:39:32 · 1002 阅读 · 0 评论 -
spark算子解析
spark算子大致上可分三大类算子: 1、Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Key-Value型的数据。 3、Action算子,这类算子会触发SparkContext提交作业。一、Val转载 2016-09-30 15:39:44 · 188 阅读 · 0 评论