Mrerlou的博客

我们的大数据环境是 CDP 环境。该环境已经默认添加了的客户端配置。我们的 Flink 任务类型是的任务。默认的配置文件是在目录下。如今我们的需求是个别任务提供的配置仅用于配置执行参数，例如影响作业的配置参数，而不是底层集群。那么我们改如何实现呢。

Flink版本1.15.1scala版本2.12最近在学习Flink，在IDEA中调试Flinksql。

最近在学习 读写 ， 突然想到如果 生产消息到，那么这条消息如何确定发往那个分区。顺便也回顾下 本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用 来将数据写入到 Kafka，那么KafkaSink 是如何确定一条消息要发送到那个分区？默认的策略是什么？可以看到 只有 这一个默认的实现。相关的分区策略代码如下：可以看出 是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。2. null当我们代码指定分区策略为 时，那么肯定就会选用Kafka 本身默认的分区策略。我

Flink 读写Kafka demo，及遇到的问题 The transaction timeout is larger than the maximum value allowed by the broker

由于 应用程序大多是长时间运行的作业，因此 和 文件的大小很容易增长到数 GB，这可能会在您查看 上的内容时出现问题。这篇文章整理了如何为 启用 和 的滚动日志记录。这边文章为在 环境下的配置，并且这篇文章适用于 集群和 。 使用的默认日志是 Log4j，配置文件的如下：默认情况下， 没有配置滚动文件附加程序。进入 Cloudera Manager -> Flink -> Configuration -> Flink Client Advanced Configuration Snippe