Hadoop学习
关注
分享
扫一扫
BigData_Hadoop
这个作者很懒，什么都没留下…
展开
-
HDFS读写过程
HDFS读写过程写数据流程使用HDFS客户端向远程Namenode发送RPC请求Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会文件文件创建一个记录，否则会让客户端抛出异常当客户端开始写入文件的时候，客户端会将文件分为多个packets，并在内部以数据队列的形式管理这些packets，并向Namenode申请blocks，获取用来存储复本的合适的...原创 2018-06-23 11:57:19 · 1073 阅读 · 0 评论 -
Hadoop常用命令
Hadoop常用命令Hadoop常用命令命令基本格式hadoop fs -cmd <args>lshadoop fs -ls /hadoop fs -ls -R /puthadoop fs -put <local file> <hdfs file>hadoop fs -put dongle.c /had...原创 2018-07-01 20:32:19 · 348 阅读 · 0 评论 -
YARN基本框架和工作流程
YARN基本框架和工作流程YARN的基本组成架构ResourceManager(RM)调度器应用程序管理器NodeManager(NM)containerYARN的通信协议YARN工作流程YARN基本框架和工作流程YARN是Hadoop2.0中资源管理系统，它的基本设计思想是将MRV1中的jobtracker拆分成了两个独立的服务：一个全局的资源管理器r...转载 2018-07-20 16:38:41 · 817 阅读 · 0 评论