Hadoop
文章平均质量分 65
aaaaajiboke
你可以称呼我大佬
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
fsimage与editslog
fsimage与editslog NameNode中的元数据是在内存中用ArrayList保存的,但是要考虑到如果电脑停电了突然关机了,那么NameNode中的元数据就被释放掉没有了,所以就有editslog,editslog包含了元数据还有一系列的操作。 如果要使用这些数据,在开机的时候就会加载editslog,恢复到关机之前的场景,因为我们处理的是大数据,里面有亿万级的操作,每次开机的时候很慢...原创 2018-09-18 19:52:32 · 951 阅读 · 1 评论 -
MapReduce处理数据
1、编写自定义类 如果写二次排序的话再在里面添加 package org.hdfs.urlMapReduce; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class...原创 2018-09-25 11:40:42 · 1350 阅读 · 0 评论 -
Hadoop1000条笔记总汇
作者 笔记汇总 Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Master负责集群的资源管理,Slave用于执行计算任务。 Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行。 YARN可以为符合YARN编程接口需求的集群提供调度服务。 YARN: R...转载 2018-10-10 19:16:03 · 448 阅读 · 0 评论
分享