偷闲小苑

文章目录背景组件HDFS为什么需要治理为什么难以推动需要做什么部分效果图SPARK & YARN为什么需要治理需要做什么部分效果图计费后记背景大数据平台早期是野蛮生长的，任务直接在终端提交运行，处于一种完全无管理的自由状态。在17年上线了内部的大数据平台后，用户开始逐渐在平台上进行数据管理，代码编写，作业管理等工作，但是资源治理依旧缺失。随着业务及数据量的不断增加，集群扩容，存储和计...

运行环境 centOS6.6ansibleansible的功能还是比较多的，博主只用它在集群上进行批量部署软件和维护的功能，其他不多做研究，有需要的话这篇文章会慢慢补充。ansible特点轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；批量任务执行可以写成脚本，而且不用分发到远程就可以执行；使用python编写，维护更简单，ruby语法过于复杂；支持sudo。

升级python到2.7后$ ansible报错Traceback (most recent call last): File "/usr/bin/ansible", line 36, in <module> from ansible.runner import RunnerImportError: No module named ansible.runner和yum python

环境centOS6.6 主机关闭iptable以前跑spark任务的时候经常发现有的节点运行速度不理想，于是便想通过ganglia监控集群来发现性能瓶颈，看看到底是cpu mem还是网络io的原因。一.安装epel源sudo wget http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm sudo