走过路过

Docker尝鲜之Airflow快速安装 个人初步理解使用Docker应该尽量满足数据和应用隔离，数据尽量有mount在宿主机上；另外，与虚拟机相比，容器有一个很大的差异，它们被设计用来运行单进程，无法很好地模拟一个完整的环境，所以不建议一个容器塞太多的应用——容器的启动是非常廉价的。Docker设计者极力推崇“一个容器一个进程的方式”，所以遵循这样的应用原则就没错了。另外，docker exe

@(Hadoop) 为什么会出现YARN(Yet Another Resource Negotiator, a framework for job scheduling and cluster resource management)，YARN的优秀点是什么，践行分布式框架设计和并行化开发时有什么启发。希望这能加深Hadoop理解和算法开发思路扩展，如TensorFlow的多核任务分配机制、分布

Airflow这个神器似乎在国内用的并不算多，所以很多文档都不是很全。Celery也是个神器。本文主要记录Airflow如何将Executor切换成CeleryExecutor——只有切换成CeleryExecutor，才能实现sub节点的单节点重跑，否则整个sub节点都需要重跑。配置的坑比较多，也修改了源码，特此记录说明。1. 安装RabbitMQRabbitMQ是Celery官方推荐的生产级B

网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel

@(分布式计算集群) Master-Worker设计模式在生活中非常地常见，比如：督工和工人，督工给每个工人分配任务，也监督每个工人的工作情况。一般还有以下场景：如果有个工人身体不好，就重新将他的任务分配给其他人；现实中一般督工就一个，督工自己也有可能身体不好，然后呢？就没有然后了——也有可能由一个工人暂时顶替，或者再从其他小组挪一个督工，或者由一直陪同的小秘顶上。额外补充的场景是为了能够应对不

CDH5.8安装说明@(Hadoop) 使用过Ambari，不知道是因为没有商业运作支撑还是社区活跃度有限，总体管理能力只能算凑合。很多Hadoop组件版本都不高，Spark也才1.3.X，Sqoop还是1.4.6.2.3，相对版本都比较低，而且管理并不算优秀。遂放弃，准备使用CDH做下测试。 CDH在版本跟踪上还是比较密切贴近Hadoop的各个模块版本，基本上在修复版本上差个一两个版