[dataworks]从mysql导入数据、将结果导入到mysql、处理写错表名问题、创建依赖任务

一、从mysql导入数据

在ods的数据集成下点新建-->离线同步

1、起名imp_t_ods_uc_cst_terminal_dtl_df

前缀imp是import的缩写

t代表trade即MySQL的交易库(trade)的简写

ods即导入到ods层

uc_cst_terminal_dt为MySQL对应的表名

df为日全量导入(di为日增量导入)

2、建表

默认就是覆盖分区

这个样就行了

3、调度配置

4、配置资源

 5、保存、提交、发布

 

6、将表授权 

1)申请 

 2)同意

7、测试环境补数据(可以省略)

注意从这里点进去是测试环境哦

8、生产环境补数据

1、查看节点id

2、点击右上角的运维中心

3、查找任务、补数据

二、将数据从dataworks导入到mysql

1、在mysql建表

2、创建同步任务

二、表写错名

1、通过新建结果表的方式处理

1)新建一张表(开发环境)

2)将改表变成生产表

3)修改原任务中的表即可

注:对任务名进行修改并不会影响任务的调度。

2、删除原同名任务(不好用)

1)取消发布

右上角

2)下线(我没用上)

3)删除任务

4)新建同名任务

三、创建依赖任务

1、创建测试表

CREATE TABLE IF NOT EXISTS dwd_uc_cst_terminal_question_df(
`uuid`                          STRING COMMENT '主键',
`terminal_id`                   STRING COMMENT '终端拜访维护ID;FK:UC_CST_TERMINAL_DTL',
`questionset_uuid`              STRING COMMENT '题目表;UC_CST_TERMINAL_QUESTIONSET',
`org_uuid`                      STRING COMMENT '组织机构;FK:组织机构uuid',
`manage_unit_uuid`              STRING COMMENT '管理单元',
`tagcode`                       STRING COMMENT '标签编码;FK:UC_CST_CUSTOMER_EXT',
`tagname`                       STRING COMMENT '标签名称;FK:UC_CST_CUSTOMER_EXT',
`tag_volume`                    STRING COMMENT '标签取值',
`is_tagsync`                    STRING COMMENT '标签是否同步;0:否; 1:是 ;',
`display_order`                 STRING COMMENT '题目排序',
`question`                      STRING COMMENT '指标题目',
`que_sort`                      STRING COMMENT '题目所属分类;FK:字典QUE_SORT',
`que_description`               STRING COMMENT '题目描述',
`quetype`                       STRING COMMENT '题目类别;1:单选; 2:多选 ;3:填空;4:上传附件',
`is_fill`                       STRING COMMENT '是否必答;0:否; 1:是 ;',
`queoption`                     STRING COMMENT '题目选项',
`fill_value`                    STRING COMMENT '填写值',
`syscreatedate`                 TIMESTAMP COMMENT '_创建时间',
`syscreatoruuid`                STRING COMMENT '_创建人',
`syscreatorname`                STRING COMMENT '_创建人名称',
`sysupdatedate`                 TIMESTAMP COMMENT '_修改时间',
`sysupdateuseruuid`             STRING COMMENT '_修改人',
`sysupdateusername`             STRING COMMENT '_修改人名称',
`sysisdelete`                   STRING COMMENT '_删除状态'
)
COMMENT '终端拜访维护项目'
PARTITIONED BY (ds STRING)
lifecycle 36500;--100年

2、编写语句

insert OVERWRITE table dwd_uc_cst_terminal_question_df PARTITION(ds='${bizdate}')
select 
UUID,
TERMINAL_ID,
QUESTIONSET_UUID,
ORG_UUID,
MANAGE_UNIT_UUID,
TAGCODE,
TAGNAME,
TAG_VOLUME,
IS_TAGSYNC,
DISPLAY_ORDER,
QUESTION,
QUE_SORT,
QUE_DESCRIPTION,
QUETYPE,
IS_FILL,
QUEOPTION,
FILL_VALUE,
SYSCREATEDATE,
SYSCREATORUUID,
SYSCREATORNAME,
SYSUPDATEDATE,
SYSUPDATEUSERUUID,
SYSUPDATEUSERNAME,
SYSISDELETE
from 
ods_uc_cst_terminal_question_df
WHERE ds='${bizdate}'
;

3、配置调度 设置依赖

注意: 这里决定了任务名,一般和结果表名一致

4、 本地运行

5、发布到生产环境

6、在生产环境补数据

四、其他

1、创建临时查询

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值