炮哥技术分享

背景Ambari是Hortonworks出一款开源Hadoop管理系统，是用python写的，目前市场是开源的Hadoop管理系统好像就只有这一个，虽然Ambari问题很多，也不好用，但也没办法了。最近监控系统经常报警说一个url老是不可达，只是一个ambari服务器的url 。于是登录到服务器上一探究竟。原因分析用iftop查看网络状况，发现网络占用率很高，达到了700Mbp...

背景最近发现我们的hadoop集群的客户端机器负载经常飙到几百，导致机器反应很慢， 客户反应无法提交job，或者job跑的很慢。针对这种情况通常有几个解决方案，一个是增加客户端机器数量，把他们做到一个pool里面，根据系统负载情况来自动切换不同的客户端机器，也叫负载均衡这个我们已经做到了；一个是找出负载高的根源，因为如此高的负载是很不寻常的表现，通常是因为系统参数不对或者应用程序有bug。...

介绍之前我有篇博文是介绍如何用ansible的playbook来自动化Hadoop Decommission的，本文介绍用shell脚本来实现。脚本都放在跳板机上，远端服务器调用本地脚本完成所有操作，不需要拷贝文件到远端服务器。正文主脚本：decom.sh#!/bin/bashiplist=/home/hadoop/shell_scripts/iplist#1.p...

介绍如何用ansible的playbook实现自动decommission hadoop 的node ?正文 对于如何部署安装ansible ，请看http://haohaozhang.blog.51cto.com/9176600/1610499 hadoop部署，请看http://haohaozhang.blog.51cto.com/9176600/1607089...

介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1 环境1.1 部署hadoop单机版即可，namenode,datanode,resourcemanager, nodemanager,secondnamenode都部署在同一台机器上。创建h...

介绍HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。正文一 写入数据　　当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为“/default-rack”...

介绍本文继续介绍hadoop部署，来说如何搭建HA+Federation，HA的意思是高可用，Federation是联合的意思，也可以理解为负载均衡的意思。正文1 环境10台机器：四台namenode(一个集群，每两台做一个namespace，每个ns中的两个namenode作HA)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeper d...

介绍这一系列博文介绍hadoop集群的部署和安装，因为hadoop确实比较复杂，所以分为几个部分来一一介绍。大致有基础篇，HA-QJM篇，Federation篇。正文一、操作环境虚拟机4台，配置基于hadoop的集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，Ip分布为：168.5.15.112 hadoop1（Master）...