Hadoop
关注
分享
扫一扫
Jo@mykine
码到成功
展开
-
YARN框架的认知
YARN概念:是hadoop的资源管理和任务调度的分布式框架主节点ResourceManager:管理整个集群的资源(CPU和内存)接收Client提交的应用从节点NodeManager：每个节点的资源管理(CPU和内存)YARN服务功能ResourceManager,简称RM处理客户端请求启动并监控ApplicationMaster监控NodeManager资源分配与调度ApplicationMaster，简称AM数据切分为应用程序申请资源并分配内部任务任务监原创 2020-05-31 23:58:52 · 277 阅读 · 0 评论 -
Hadoop的安装和伪分布式集群搭建
java安装配置免密码登录创建公钥和私钥ssh -keygen -t rsa将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限这里模拟本机登录本机cd ~/.ssh/cat id_rsa.pub >> authorized_keyschmod 644 authorized_keys...原创 2020-04-06 21:32:34 · 1263 阅读 · 0 评论 -
Hadoop的基础运行模式
主从架构Master:主节点运行NameNode、ResourceMananger服务进程Slave:从节点，运行DataNode、NodeManager服务进程主要的服务进程详解NameNode,负责记录数据是存在哪个存储空间的,与DataNode通信,通过算法决策将数据分发到节点进行存储DataNode,负责实际数据的存储，反馈所在节点的状态信息给NameNode一个HDFS...原创 2020-04-06 19:04:26 · 495 阅读 · 0 评论