清如许的专栏

架构图

最近需要将HDFS集群进行缩减，datanode由8台减到3台。google了一下，觉decommission方式最稳妥，于是使用该方法进行操作。 前提条件： namenode的hdfs-site.xml 里有如下配置项 dfs.hosts /data/hadoop/etc/hadoop/slaves dfs.hosts.exclud

本次用python进行测试。 首先编写Mapper和Reducer脚本，从stdin读取数据，输出到stdout mapper.py #!/usr/bin/env python import sys; for line in sys.stdin: line = line.strip(); words = line.split(); for w in wo