通用元数据简介

1、文件命名
表名_版本.xlsx 例:w_e_st_favt_order_d_V1.0.2.xlsx
2、Sheet页命名
算法页以表名命名 例:w_e_st_favt_order_d
版本页
3、算法页详解

①目标表配置

destTable:目标表表名
level:级别,分为cache,ods,dw,dm
timeType:粒度,枚举值见下文
-99 无时间粒度
-9 多时间粒度
0 5分钟
1 15分钟
2 30分钟
3 小时
4 天
5 周
6 月
7 季度
8 半年
9 年
objType:对象类型,取表名中的关键部分
bucketColumn:数据清理依据的字段,不填的话,默认是obj_id
incrUpdateFlag:是否开启增量,默认值是false
注:对于有对目标表的数据进行过滤的简单需求,可以按照最后列配置filterCondition

②来源表配置

sourceTable:来源表表名
level:级别,分为cache,ods,dw,dm
timeType:粒度,枚举值同上
groupName:分组表表名,来源表通过过滤条件(filterCondition)和分组字段(groupBy)执行sql后,填充的数据
condition:辅表和主表的关联条件
isMain:是否是主表,支持单主表,多主表
groupBy:来源表分组字段,多个字段用逗号隔开
filterCondition:过滤条件,来源表的数据根据该条件进行过滤
interfaceType:DB或者FILE
sourceTableAlias:
a、别名,当且仅当interfaceType为DB的时候可以填写,如果不填写,默认别名是来源表表名
b、当来源表表名和目标表表名一样时,别名必须填写,如下图所示

c、如果同一张DB的来源表被引入多次,别名必须填写,每一张别名表引入的字段可以不一样
d、别名必须以alias_开头

注:下图是别名在clickhouse日志里面的相关信息

③目标-来源映射算法配置

destField:目标表字段
sourceArith:来源表算法
type:该字段的属性,dest(属于目标表的,得再模型中存在的)、grouptemp(用来和主表关联的字段)、bigtemp(中间过渡的字段,不体现再目标表中)
groupName:该字段属于哪个分组表,当为空时,必须保证该字段是bigtemp中的或者常量
4、版本页详解

元数据名称:和表名保持一致
元数据类型:写“通用”
版本:必须有和文件名上的版本号一样的记录
5、适配器如果来源没有数据,任务不继续执行(20230619功能新增)

添加一列isNoDataStop:
TRUE(来源没数据,任务停止)
FALSE(来源没数据,任务继续)
缺省值为来源没数据,任务继续

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YuanZhi.w

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值