LexKaing 学习天地

参考资料：hadoop 学习笔记：mapreduce框架详解：www.cnblogs.com/sharpxiajun/p/3151395.htmlMR框架结构：https://blog.youkuaiyun.com/wf1982/article/details/6682427

参考资料：大数据集群环境搭建——HDFS HA篇：https://segmentfault.com/a/1190000007239743Hadoop NameNode 高可用 (High Availability) 实现解析：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/...

1、Token 过期问题 Failed to Update HDFS Delegation Token for long running application in HA mode参见 https://issues.apache.org/jira/browse/HDFS-9276 https://github.com/apache/spark/pull/9168错误信息：org.apache.h...

HDFS是hadoop的分布式文件系统，全称：Hadoop Distributed Filesystem。由1个master(call me NameNode)和N个slaver组成（call me datanode）。其中namenode负责存储元数据,控制和协调datanode存储文件数据。通过写多份（可定义，默认1）的方式实现数据的可靠性和读取的高效性。主要特点： 1.    适合存储大文件...