Flink 编译错误:格式违规的文件 -Dspotless.check.skip=true 大数据

122 篇文章 ¥59.90 ¥99.00
本文介绍了Apache Flink在编译时遇到的代码格式违规错误,以及如何通过调整代码格式或使用-Dspotless.check.skip=true参数来解决。强调了保持代码风格规范对项目的重要性。

Flink 编译错误:格式违规的文件 -Dspotless.check.skip=true 大数据

Apache Flink 是一个流处理和批处理框架,被广泛应用于大数据领域。然而,有时候在编译 Flink 项目时可能会遇到一些错误。本文将讨论一种常见的编译错误,即 “The following files had format violations -Dspotless.check.skip=true” 错误,并提供解决方法。

该错误通常在运行 Maven 编译命令时出现,它指示一些文件未能通过代码格式检查(Code style check)。默认情况下,Flink 使用 Spotless 插件执行代码格式检查,并要求所有源代码文件遵循特定的代码风格规范。然而,有时候我们可能希望跳过该检查,这时我们可以使用 “-Dspotless.check.skip=true” 参数来禁用 Spotless 插件的代码格式检查。

以下是一些可能导致该错误出现的原因以及解决方法:

  1. 代码格式不符合规范:该错误可能是由于代码文件的格式与 Flink 的代码风格规范不一致所致。在这种情况下,你可以尝试使用代码格式化工具(如 Eclipse、IntelliJ IDEA 或使用代码格式化插件)来自动调整代码格式,以满足 Flink 的规范要求。

以下是一个示例代码,展示了使用 Flink 的 DataStream API 进行简单的数据处理:

import 
./bin/flink run -d -t yarn-per-job \ -Dyarn.application.name="flinkcdc_prod_old_smpcdb_3" \ -Dyarn.application.queue="hive" \ -Dstate.backend=rocksdb \ -Dstate.externalize-checkpoints=true \ -Dexecution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \ -Dexecution.checkpointing.interval=180s \ -Dexecution.checkpointing.timeout=7200s \ -Dexecution.checkpointing.min-pause=60s \ -Dexecution.checkpointing.max-concurrent-checkpoints=1 \ -Dstate.checkpoints.dir=hdfs://hadoop102:8020/flink_ck/offline/prod_old_smpcdb \ --allowNonRestoredState \ -Dparallelism.default=4 \ -Djobmanager.memory.process.size=2048m \ -Dtaskmanager.memory.process.size=5120m \ -Dtaskmanager.numberOfTaskSlots=2 \ -c org.apache.doris.flink.tools.cdc.CdcTools \ /opt/module/flink-1.17.2-sql-cdc/lib/flink-doris-connector-1.17-1.6.2.jar \ oracle-sync-database \ --database prod_old_smpcdb \ --oracle-conf hostname=10.1.9.2 \ --oracle-conf port=1521 \ --oracle-conf database-name=PMS2 \ --oracle-conf username=pms \ --oracle-conf password="SRX3yak#8" \ --oracle-conf schema-name=PMS \ --oracle-conf debezium.database.history.store.only.captured.tables.ddl=true \ --oracle-conf debezium.log.miner.enabled=false \ --oracle-conf debezium.snapshot.mode=initial_only \ --oracle-conf debezium.snapshot.fetch.size=20000 \ --oracle-conf debezium.column.mapping="CLOB:STRING,BLOB:STRING" \ --oracle-conf debezium.snapshot.checkpoint.interval.ms=0 \ --oracle-conf debezium.transforms=encodeBlob \ --oracle-conf debezium.transforms.encodeBlob.format=base64 \ --oracle-conf debezium.database.url="jdbc:oracle:thin:@//10.1.9.2:1521/PMS" \ --including-tables "EXP_PHOTO" \ --sink-conf fenodes=10.210.31.92:18030 \ --sink-conf username=root \ --sink-conf password=zjj000000 \ --sink-conf jdbc-url=jdbc:mysql://10.210.31.92:9030 \ --sink.buffer-size=100M \ --sink.buffer-flush.interval=60000 \ --sink-conf sink.enable-2pc=false \ --sink-conf sink.label-prefix=label_cdc_prod_old_smpcdb_340 \ --sink-conf sink.stream-load.timeout=7200 \ --sink-conf sink.connect.timeout.ms=60000 \ --sink-conf sink.request.timeout.ms=3600000 \ --table-conf replication_num=1 采集oracle 数据表到doris,大字段为空其他的字段有数据
最新发布
07-26
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值