WandaZw的博客

摘要：文章仅供学习交流，也是自己对学习知识的一种梳理； 学习分三步：为什么用，怎么用，最后就是拔高，擅于使用，也就是所谓的精通！ MAPREDUCE原理篇（1） Mapreduce 是一个分布式运算程序的编程框架，使用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce 核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并运行在一个had...

MAPREDUCE实践篇（2） mapreduce的shuffle机制 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，叫 shuffle ; shuffle:洗牌，发牌----（核心机制：数据分区，排序，缓存） 具体来说：是将maptask输出结果数据，反发给reducetask，并在分发的过程中，对数据ke...

摘要：文章仅供学习交流，也是自己对学习知识的一种梳理； 学习分三步：为什么用，怎么用，最后就是拔高，擅于使用，也就是所谓的精通！ NAMENODE 工作机制 问题场景： 1、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？ 解释： safemode是namenode的一种状态（active/standby/safe...