jiayunfei521的博客

学习一段时间的大数据技术，总是对里面zookeeper和yarn的功能模糊不清，于是收集一些资料，帮助自己简单的理解一下。 Yarn的作用 Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后，会查看当下的各个子节点的状况，统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说，Yarn所调度的资源常常包括磁盘空间的资源，内存的资源和通讯带宽的资源等。Yarn是Hado...

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理 hadoop、spark、Hbase、Hive、hdfs简介 Hbase：是一个nosql数据库，和mongodb类似 hdfs：h...