Goodera

1 多行转多列 数据： 张三 语文 90 张三 数学 85 张三 英语 92 李四 语文 75 李四 数学 90 李四 英语 80 王五 语文 95 王五 数学 100 王五 英语 98 建表： create table stu( name string, subject string, score int ) row format delimited fields terminated...

目标：Coordinator周期性调度任务 1 拷贝官方模板配置定时任务 [root@cdh003 oozie]# cp -r examples/apps/cron/ oozie_apps/ 2 修改js框架中的时间设置代码 [root@cdh003 oozie]# vim oozie-server/webapps/oozie/oozie-console.js function getTimeZ...

目标：使用Oozie执行多个Job调度 1 编写脚本 [root@cdh003 oozie]# vim oozie-apps/shell/demo02.sh #!/bin/bash /sbin/ip addr > /opt/app/demo02.log 2 修改job.properties和workflow.xml文件 job.properties nameNode=hdfs://c...

** 本节我们练习使用Oozie调度shell脚本 ** 1 解压官方案例模板 [root@cdh003 oozie]# tar -zxvf oozie-examples.tar.gz 2 创建工作目录 [root@cdh003 oozie]# mkdir oozie-apps 3 拷贝任务模板到oozie-apps目录 [root@cdh003 oozie]# cp -r example...

一、Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 二、Oozie的功能模块介绍 2.1 模块 (1) Workflow 顺序执行流程节点，支...

1. nginx 负载均衡 反向代理 2. 日志的采集 [ ] [ ] List item flume采集nginx的日志文件 3. javaweb三层结构 今日任务 `` ~~` ~~~~1. 数据仓库的构建~~~ ~ ods--》dw层--》dm层~~ 2. 写sdk：httpclient（apache提工的一套api（common）） 3. etl ： 数据清洗 19...