trumanz的博客

YARN是Hadoop中的一个cluster资源管理系统。 MapReduce 就是泡在YARN 之上的，其关系如下图， MapReduce 通过YARN 在cluster内申请内存和cpu资源，YARN执行MapReduce Task.  最近学习了YARN，从部署的角度YARN支持三种调度器:FIFO, Capacity 和 Fair。从开发应用程序的角度，实现一个YA

对于MapReduce的输入输出Hadoop的官网如下所示Input and Output types of a MapReduce job:(input)  -> map -> -> combine -> -> reduce ->  (output)这里将从源码分析 input ->map 的过程，Mapper 基类定义Mapper基类如下我们要重写其ma

Mapper  的输入官方文档如下The Mapper outputs are sorted and then partitioned per Reducer. The total number of partitions is the same as the number of reduce tasks for the job. Users can control w

最近在搭建hadoop 环境的时候，最初尝试去写一些脚本去安装包以及修改配置，后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群， 于是尝试用docker安装试验。ambaris: 是 hortonworks  开发的一个自动 部署+管理+监控  HDP（Hortonworks Data Platform， http://hortonworks.

Kubernetes 之部署 cassandra + solr（datastax）解析Kubernetes 之部署 cassandra solrdatastax解析环境需求kubertes cluster环境datastax imageImage解析image增加kubernetes支持伸缩性支持image 增加启动脚本Kuberntes yaml 解析Kubernetes 是一个