Jo_Andy的专栏

YARN概念:是hadoop的资源管理和任务调度的分布式框架 主节点ResourceManager: 管理整个集群的资源(CPU和内存) 接收Client提交的应用 从节点NodeManager： 每个节点的资源管理(CPU和内存) YARN服务功能 ResourceManager,简称RM 处理客户端请求 启动并监控ApplicationMaster 监控NodeManager 资源分配与调度 ApplicationMaster，简称AM 数据切分 为应用程序申请资源并分配内部任务 任务监

java安装 配置免密码登录 创建公钥和私钥 ssh -keygen -t rsa 将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限 这里模拟本机登录本机 cd ~/.ssh/ cat id_rsa.pub >> authorized_keys chmod 644 authorized_keys ...

主从架构 Master:主节点运行NameNode、ResourceMananger服务进程 Slave:从节点，运行DataNode、NodeManager服务进程 主要的服务进程详解 NameNode,负责记录数据是存在哪个存储空间的,与DataNode通信,通过算法决策将数据分发到节点进行存储 DataNode,负责实际数据的存储，反馈所在节点的状态信息给NameNode 一个HDFS...