
大数据
文章平均质量分 91
妖四灵.Shuen
这个作者很懒,什么都没留下…
展开
-
hadoop 源码分析(二)HDFS nameNode 之 FSNamesystem初始化源码分析之加载fsImage 和 edits log
上一篇 讲解了nameNode启动的时候,NameNodeHttpServer的启动流程,其实简单来说就是基于hadoop自己实现的HttpServer2服务绑定一个InetSokcetAddress地址,也就是端口号,端口号哪来的?默认配置文件获取呗,最后在将HttpServer2中绑定一些servlet来处理url请求就完成了我们50070端口的请求处理。那么本篇分析nameNode进程第二个比较核心的,应该说是最核心的组件FSNamesystem,为什么说是最核心组件呢,因为元数据管理和bloc.原创 2021-01-16 13:39:55 · 917 阅读 · 0 评论 -
hadoop 源码分析(一)HDFS nameNode 之 httpServer启动源码分析
一、HDFS概述基于hadoop2.6HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。特点:高容错和高吞吐量、易扩展、高可靠性HDFS的四个核心模块:namenode节点、datanode节点、客户端、HDFS协议(RPC协议、流式接口协议:HTTP和TCP)这里一些基本的概念我们就不重复叙述了,毕竟都是看源码的人了,连基本操作都不会我肯定是不信的所以我们直接进入正题二、nameNode 之 httpServer启动源码分析源码分析是一个缓慢的过原创 2021-01-07 19:02:07 · 588 阅读 · 1 评论