Dataligen的博客

用户画像离线标签数据存储在es内，实时画像标签数据存储在redis内，离线用于圈选，实时用于点查。随着业务的增长，目前需要离线标签数据和实时标签数据同时进行圈选用户，上述架构无法满足，故需要一个离线数据和实时数据共存在一张表中提供圈选和点查的能力。通过调研压测不同的产品，最后选择了doris2.1版本升级画像的架构。

基于阿里dataworks数据集成实现doris2.0 Unique模型部分列更新

数据写入常见的错误如下：写入分区表时，写入不存在分区数据数据类型与doris数据类型不一致采用csv表格数据导入，原数据中存在字符串，字符串中可能存在制表符\t或换行符\n在数据分割的时候，会将数据切割错误，会报数据类型不符错误，故需要设置自定义新的分隔符。PROPERTIES"column_separator": "&*&", --导出文件的列分隔符"line_delimiter": "@@@@" --导出文件的行分隔符。