shaokeAK的博客

azkaban的使用 第一个azkaban 在azkaban总目录下创建jobs的文件夹存放所有的job 写一个.job(必须以.job结尾) #first job type=command command=echo ‘yuniko 这样的人’ 将first .job文件添加成zip格式 zip azk1.zip fist.job 发送到web ui并运行 可以在webUI中设置执行任...

Hadoop集群搭建 HA 下载hadoop-2.7.1包 将 hadoop2.4.1 上传 解压 tar -zxvf ./hadoop-2.7.1.tar.gz 修改hadoop环境变量 export HADOOP_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el6_10.x86_64 export PATH=PATH:PATH...

安装 azkaban 解压 azkaban-2.5.0.zip 需要下载unzip 得到azkaban的三个包 调度工作流和任务 azkaban-executor-server-2.5.0.tar.gz 数据库支持 azkaban-sql-script-2.5.0.tar.gz webUI azkaban-web-server-2.5.0.tar.gz 分别解压三个包 tar -zxvf...

Spark单点Master 三点 Worker 配置 解压spark tar -xzvf ./spark-1.6.2-bin-hadoop2.6.tgz 进入conf文件目录重命名spark-env.sh cd ./conf/ mv spark-env.sh.template spark-env.sh 修改配置 spark-env.sh在其中添加环境变量 export JAVA_HOME...