基于阿里dataworks数据集成实现doris2.0 Unique模型部分列更新

        阿里的dataworks提供的数据集成,可以高效的完成将数仓的数据写入doris,但是目前提供的页面功能配置项,无法实现部分列更新这个设置。页面设置如:

        根据阿里提供数据集成文档中,可以看出数据集成采用的是StreamLoad的方式写入到doris,故查询doris的官方文档,需要设置参数方可实现部分列更新,根据上述页面无添加参数的地方,故需要将页面话配置转换为脚本功能,添加需要参数方可实现部分列数据更新。如下:

        需要添加设置参数为:

"loadProps": {
                    "partial_columns": true, 
                    "strict_mode": false
                }

        整体脚本如下:

{
    "transform": false,
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [
      
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值