关于Doris设置sink.enable.batch-mode攒批模式无效

波舅子

于 2024-11-06 12:31:31 发布

阅读量1.1k

点赞数 15

分类专栏：大数据之Doris 文章标签： batch 服务器开发语言

本文链接：https://blog.youkuaiyun.com/zhou_bo123/article/details/143567395

版权

以下是获取doris sink的方法：

public static DorisSink<String> getDorisSink(ParameterTool parameterTool,String databaseName,String tableName){
        Properties props = new Properties();
        props.setProperty("format", "json"); // 数据格式
        props.setProperty("read_json_by_line", "true"); // 每行一条 json 数据

        DorisSink<String> sink = DorisSink.<String>builder()
                .setDorisReadOptions(DorisReadOptions.builder().build())
                // 设置 doris 的连接参数
                .setDorisOptions(DorisOptions.builder()
                        .setFenodes(parameterTool.get(Constant.DORIS_FE_HTTP_PORT)) // fe http 地址
                        .setTableIdentifier(databaseName + "." + tableName) // 库名.表名
                        .setUsername(parameterTool.get(Constant.DORIS_USERNAME))
                        .setPassword(parameterTool.get(Constant.DORIS_PASSWORD))
                        .build())
                .setDorisExecutionOptions(DorisExecutionOptions.builder() // 执行参数
//                        .setLabelPrefix("doris-label" + System.currentTimeMillis())  // stream-load 导入的时候的 label 前缀
//                        .enable2PC()
                        .disable2P