
Hadoop
文章平均质量分 72
morphinghoo
做人做事问心无愧最重要~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS数据完整性解析
HDFS存储了大量的用户需要的数据,由于每一个磁盘或者是网络上的I/O操作,可能会对正在读写的数据处理导致数据丢失,或者错误。下面两种数据检验方式,以此来保证数据的完整性,而且这两种检验方式在DataNode节点上是同时工作的。 1.校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和,在通道传输过程中,如果新生成的校验和不完全匹配原始的原创 2015-07-30 14:51:00 · 833 阅读 · 0 评论 -
YARN工作原理简述
一、YARN的组成 YARN由四大部分组成:ResourceManager、NodeManager、Container和ApplicationMaster。其中ResourceManger中包含两大组件:ApplicationManager和ResourceScheduler,其中ResourceManager作为一个纯资源调度器,只负责分配和调度资源,根据请求将资源原创 2015-07-30 15:18:38 · 1744 阅读 · 0 评论