1、文件命名
表名_版本.xlsx 例:w_e_st_favt_order_d_V1.0.2.xlsx
2、Sheet页命名
算法页以表名命名 例:w_e_st_favt_order_d
版本页
3、算法页详解
①目标表配置
destTable:目标表表名
level:级别,分为cache,ods,dw,dm
timeType:粒度,枚举值见下文
-99 无时间粒度
-9 多时间粒度
0 5分钟
1 15分钟
2 30分钟
3 小时
4 天
5 周
6 月
7 季度
8 半年
9 年
objType:对象类型,取表名中的关键部分
bucketColumn:数据清理依据的字段,不填的话,默认是obj_id
incrUpdateFlag:是否开启增量,默认值是false
注:对于有对目标表的数据进行过滤的简单需求,可以按照最后列配置filterCondition
②来源表配置
sourceTable:来源表表名
level:级别,分为cache,ods,dw,dm
timeType:粒度,枚举值同上
groupName:分组表表名,来源表通过过滤条件(filterCondition)和分组字段(groupBy)执行sql后,填充的数据
condition:辅表和主表的关联条件
isMain:是否是主表,支持单主表,多主表
groupBy:来源表分组字段,多个字段用逗号隔开
filterCondition:过滤条件,来源表的数据根据该条件进行过滤
interfaceType:DB或者FILE
sourceTableAlias:
a、别名,当且仅当interfaceType为DB的时候可以填写,如果不填写,默认别名是来源表表名
b、当来源表表名和目标表表名一样时,别名必须填写,如下图所示
c、如果同一张DB的来源表被引入多次,别名必须填写,每一张别名表引入的字段可以不一样
d、别名必须以alias_开头
注:下图是别名在clickhouse日志里面的相关信息
③目标-来源映射算法配置
destField:目标表字段
sourceArith:来源表算法
type:该字段的属性,dest(属于目标表的,得再模型中存在的)、grouptemp(用来和主表关联的字段)、bigtemp(中间过渡的字段,不体现再目标表中)
groupName:该字段属于哪个分组表,当为空时,必须保证该字段是bigtemp中的或者常量
4、版本页详解
元数据名称:和表名保持一致
元数据类型:写“通用”
版本:必须有和文件名上的版本号一样的记录
5、适配器如果来源没有数据,任务不继续执行(20230619功能新增)
添加一列isNoDataStop:
TRUE(来源没数据,任务停止)
FALSE(来源没数据,任务继续)
缺省值为来源没数据,任务继续