Hadoop是一个适用于海量数据的分布式存储和计算平台，包含HDFS存储框架和MapReduce计算框架。HDFS采用主从结构，主节点负责接收用户操作请求、维护文件系统目录结构和管理文件与block之间的关系；从节点则负责存储文件，文件被区分为多个block存储在磁盘上，并有多个备份。MapReduce架构中，JobTracker负责接收计算任务并分配给TaskTracker执行，而TaskTracker则是执行JobTracker分配的任务。Hadoop的优势在于能够高效地进行数据处理、成本低廉、具备高可靠性和任务失败后的自动重新部署能力。
1、hadoop是适合海量数据的分布式存储和计算平台
2、包含：hdfs存储框架和MapReduce计算框架
3、hdfs（hadoop file system）架构：主存结构，（一主多存，2.x系统中已优化为二主多存）
主节点：namenode，接收用户操作请求、维护文件系统目录结构、管理文件与block之间和block和datanode的 关系。
从节点：datanode，存储文件、文件被区分为多个block存储在磁盘上、多个备份。
4、MapReduce 架构：主存架构
主节点：JobTracker，接收客户提交的计算任务、分配给TaskTracker、监控 TaskTracker执行情况。
从节点：TaskTracker，执行JobTracker分配的任务。
5、hadoop优势：扩容、成本低、高效率、可靠性（任务失败后自动重新部署计算任务）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
