梦，不可及，所以可期待...

Airflow和Azkaban这两个组件对大数据集群来说是相对独立的，都是可以独立于集群安装，所以不管是cdh还是hdp集群，都可以选择其中之一作为集群的任务调度系统。我们公司有2套集群，国内国外各一套，然后因为历史原因国内用的是Azkaban，国外用的是Airflow，考虑到以后技术栈的统一，打算慢慢将两个集群的组件统一化，所以就有了调研两个调度系统对比这件事。这里就将这两个组件拿出来对比一下，这里没有拿oozie出来说是因为用我用oozie的不多，并且oozie是强依赖于hadoop的，不适合作为.

查看hdfs文件的blockSize# 查看文件的blockSize[root@cdh01 text]# hdfs dfs -stat "%n %b %o %r %y %F" /tmp/example/access_2013_05_31.logaccess_2013_05_31.log 157069653 134217728 3 2020-10-07 02:05:07 regular file[root@cdh01 text]# hadoop fs -stat "%n %b %o %r %y %F

最近部门合并，两个部门的集群需要同步到一起，自然用的是【distcp】，因为两个集群的版本不一致，用hdfs可能会有问题，所以通过http端口来传输。因为两个集群都配置了HA，无法确定什么时候哪个name node处于active状态，所以需要先每次传输前先获取active node。方式是通过JMX来获取集群信息。解析返回的json，获取到active node后退出，开始传输数据。#...

安装环境：centos61、下载1.1、 http://dev.mysql.com/downloads/mysql/ http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.10-linux-glibc2.5-i686.tar.gz1.2、将tar包复制到/usr/local/soft/目录下2、解压缩到/usr/l...

在安装集群之前，需要先配置各个节点的静态IP，避免重启机器IP变化导致集群启动失败。 环境： 物理机是mac 使用VMware安装centos6.5系统1、查看物理机的vm8 ip启动VMware软件使用ifconfig查看物理机的ip，找到vmnet8对应的ipinet是172.16.131.1，所以网段是172.16.131,这个在后面配置时用到。 2、进入...

如果只是单机单间的cm，可以关闭cm的监控来节省内存。 1、登录cm管理界面 http://centos1:7180/cmf/home 2、在Cloudera Management Service现在选择停止cm即可， 点击上图的邮编的三角符号，选择【停止】 3、关闭后，界面是的监控都会显示查询错误，但不会影响集群的正常运行 ...

一、系统环境：物理机：一台8G 的mac虚拟机：安装linux系统：CentOS release 6.5 (对于集群安装，这个才是最终的环境系统） cpu：2core内存：6g(对，就是这么多，因为cdh真的很吃内存,这也是装单节点的原因，如果是源生的hadoop，3个节点没压力)二、安装前提此文只讨论离线方式安装cm5和cdh5，有以下假定前提：1、jdk环境配置...

Hadoop集群中节点之间需要不断通信，节点之间的免密码登录是少不了的. 原理： 在本机生成公钥(id_rsa.pub)和私钥(id_rsa),然后将公钥存放到需要登录的服务器，以后每次登录该服务器时，会自动匹配公钥和私钥，匹配上了就直接登录，省去输入密码步骤。1、 在(本机)客户机生成公钥和私钥:[root@centos1 ~]# ssh-keygen -t rsa#全部采用回...