wang2leee的博客

方案设计mq流数据引擎存储linux运维监控

本文档为Spark的旧版本Streaming引擎。Spark Streaming 不再更新，是一个遗留项目。在Spark中有一种新的、更易用的流处理引擎，称为结构化流式处理。您应该使用Spark结构化流处理来开发流式应用和流水线。请参阅结构化流式处理编程指南。*

iceberg快照删除接口提供了一系列方法来控制过期快照的删除行为。通过调用不同的方法，可以设置要过期的快照ID、过期时间戳以及保留最近祖先快照的数量等。此外，还可以传递替代的删除实现和执行删除的ExecutorService。方法设置是否清理底层清单文件和数据文件

计算列是指在数据集中定义的计算列，它可以是简单的常量值，也可以是复杂的表达式，用于从表中提取特定的值。元数据列是指存储在数据集中的基础列，它们不包含任何计算。Flink 中的元数据列使用 SQL 语句定义，可以在结果集中返回结果。计算列通常用于执行各种计算操作、转换数据或生成新的衍生指标，而元数据列主要用于向结果集中添加静态值或标记。计算列是通过对现有列进行计算或表达式求值得到的新列，而元数据列是作为固定值或常量添加到结果集中的列。计算列根据数据集中的实际值进行计算，而元数据列是预定义的固定值。

NoTimestampType允许禁用Kafka记录的自动时间戳提取。当用户希望依赖于记录值中嵌入字段的时间戳时，这通常很有用。

Flink 主键约束是在 Table API 中使用的约束，它可以用于确保表中数据的唯一性和完整性。例如，假设有一个表名为UserInfo，它有两个字段id（主键）和name，可以在定义该表时使用主键约束

为何选择ScalaScala是适合你的语言吗？Scala是一门混合了函数式和面向对象的语言。用Scala创建多线程应用时，你会倾向于函数式编程风格，用不变状态（immutable state）①编写无锁（lock-free）代码。Scala提供一个基于actor的消息传递（message-passing）模型，消除了涉及并发的痛苦问题。运用这个模型，你可以写出简洁的多线程代码，而无需顾虑线程间的数据竞争，以及处理加锁和释放带来的梦魇。把synchronized这个关键字从你的字典中清除，享受Scala带

kafka订阅消费数据过程需要配置的常见参数有bootstrap.servers，group.id，auto.commit.enable，auto.offset.reset等参数（kafka 0.9+使用Java Consumer替代了老版本的scala Consumer）。参数含义（1）bootstrap.servers在启动consumer时配置的broker地址的。 它配置的格式是：...