LMR的博客

Hadoop高可用集群搭建1. 前期准备和规划1.1 前期准备1.2 集群规划2.安装步骤2.1 .安装配置zooekeeper集群（在hadoop05上）2.1.1解压2.1.2.修改配置2.1.3将配置好的zookeeper拷贝到其他节点3.安装配置hadoop集群（在hadoop00上操作）3.1解压3.2配置HDFS3.2.1修改hadoo-env.sh3.2.2修改core-site.x...

最全的Hbase学习笔记1. zookeeper快速上手1.1. zookeeper的基本功能和应用场景1.2. zookeeper的整体运行机制1.3. zookeeper的数据存储机制1.3.1. 数据存储形式1.3.2. znode类型1.4. zookeeper的集群部署1.5. zookeeper的命令行客户端操作1.5.1. zookeeper的数据存储形式1.5.2. 数据管理功能1...

Spark是通过借鉴HadoopMapReduce发展而来的，继承了其分布式并行计算的优点，并改进了MapReduce明显的缺陷，具体体现在以下几个方面。（1） Spark把中间数据放在内存中，迭代运算效率高。MapReduce中的计算结果是保存在磁盘上，这样势必会影响整体的运行速度，而Spark支待DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。（2）Sp...

一开始学习hadoop时并没有关注Streaming相关的东西，包括看权威指南时也跳过了。但是在面试的时候竟然被问倒了

定义：Fsimage文件：即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，包含文件系统中的所有目录和文件inode的序列化信息。EditLog：文件系统的写操作首先把它记录在edit中。合并过程：1.secondary namenode通过周期性（五分钟），通过getEditLog获取editlog大小，当其达到合并的大小时通过RollEditLog方法进行合...