Hadoop
Fight_Now
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop中如何查看block块大小
一、 临时修改 可以在执行上传文件命令时,显示地指定存储的块大小。 1. 查看当前 HDFS文件块大小 我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。 1.1 终端命令方式查看 [xiaoyu@Hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7转载 2016-09-21 11:39:32 · 1037 阅读 · 0 评论 -
spark算子解析
spark算子大致上可分三大类算子: 1、Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Key-Value型的数据。 3、Action算子,这类算子会触发SparkContext提交作业。 一、Val转载 2016-09-30 15:39:44 · 218 阅读 · 0 评论
分享