阿里的dataworks提供的数据集成,可以高效的完成将数仓的数据写入doris,但是目前提供的页面功能配置项,无法实现部分列更新这个设置。页面设置如:
根据阿里提供数据集成文档中,可以看出数据集成采用的是StreamLoad的方式写入到doris,故查询doris的官方文档,需要设置参数方可实现部分列更新,根据上述页面无添加参数的地方,故需要将页面话配置转换为脚本功能,添加需要参数方可实现部分列数据更新。如下:
需要添加设置参数为:
"loadProps": {
"partial_columns": true,
"strict_mode": false
}
整体脚本如下:
{
"transform": false,
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "odps",
"parameter": {
"partition": [