
Hadoop
文章平均质量分 88
诗蕊
Put your heart into it
展开
-
分布式协调服务ZooKeeper
文章目录分布式协调服务的存在意义leader 选举负载均衡ZooKeeper 数据模型层级命名空间WatcherSessionZooKeeper 基本架构ZooKeeper 应用leader 选举分布式队列负载均衡 在分布式系统中,服务之间的协调是非常重要的,分布式系统中的leader选举、分布式锁、分布式队列等都需要通过协调服务实现。Hadoop生态系统提供了ZooKeeper。ZooKeepe...原创 2018-12-14 08:08:07 · 833 阅读 · 0 评论 -
资源管理与调度系统YARN(YARN基本架构及原理)
文章目录why YARNMRv1 局限性YARN设计动机YARN 设计思想YARN 基本架构 hadoop 2.0引入了数据操作系统YARN,YARN能够将资源按需分配给各个应用程序,大大提高了资源利用率,其次,YARN将短作业和长作业混合部署到一个集群中,并提供了容错、自愿隔离及负载均衡等方面的支持,大大简化了作业和服务的部署和管理成本。 why YARN MRv1 局限性 可靠性差:MRv1...原创 2018-12-16 15:18:33 · 2178 阅读 · 0 评论