JustinMars的博客

在 Apache Spark 中，Transformation 和 Action 是两类核心算子，用于定义数据处理逻辑；PairRDDFunctions 提供了对键值对 RDD 的特殊操作；而 File System 处理则涉及与外部存储的交互。下面详细介绍每一部分。

要注意，在acks=all模式下，如果Kafka集群的副本因某种原因无法满足确认要求，写入操作可能会失败，因此需要在选择确认级别时进行权衡。在这个级别下，生产者发送消息后会等待所有分区副本都确认消息已成功写入到它们的本地日志，然后才认为消息已成功发送。在这个级别下，生产者发送消息后会等待分区的领导者（leader）确认消息已成功写入到其本地日志。生产者发送消息后不会等待任何确认，直接将消息添加到分区的副本中，并认为消息已成功发送。在这种模式下，如果发生故障或错误，生产者将不会知道，也不会重试发送消息。

Kafka提供了一个命令行工具，用于管理和与Kafka集群交互。这个命令行工具通常称为Kafka Shell，它允许您执行各种操作，如创建主题、发送和消费消息、查看主题列表等。

1. 将图片数据转换成字节数组2. 将二进制数据写入kafka3.iceberg读取kafka数据入数据湖