Kafka 系列 —（20）Kafka 在 IoT（物联网）项目中的最佳实践

IoT Device (ESP32/STM32) 
    → MQTT Broker（EMQX/AWS IoT/Mosquitto）
         → MQTT Bridge → Kafka Topic(raw)
              → Stream Processor (Kafka Streams / Flink)
                    → Kafka Topic(processed)
                          → DB/TSDB/ES/OLAP → Dashboard

关键点：

IoT 设备不直接连接 Kafka，而是使用 MQTT。
MQTT Broker 通过 Kafka Bridge / Connector 推送数据。
Kafka 作为设备数据的主干流系统（data backbone）。
下游使用 Kafka Streams 或 Flink 做实时计算。

2.Topic 设计最佳实践（IoT 专属）

2.1 Topic 命名规范

iot.device.{deviceType}.{deviceId}.telemetry
iot.device.{deviceId}.event
iot.device.{deviceId}.status
iot.command.{deviceId}

2.2 避免每个设备创建一个 Topic（禁止）

不要： 10万设备 → 10万个 Topic → Queue 数量爆炸 → Broker 无法管理。

正确：

iot.telemetry
iot.status
iot.event

使用 deviceId 做 Key

3.数据可靠性与 QoS 策略

层	推荐配置	作用
MQTT Device → Broker	使用 QoS1	避免丢消息
MQTT Broker → Kafka	使用 Kafka Connect	稳定可靠
Kafka Producer	acks=all + idempotence=true	消息不丢不重
Kafka Storage	RF=3 + minISR=2	容灾可靠
Consumer	enable.auto.commit=false	精准消费

4.Kafka Producer（MQTT Bridge）的最佳实践

4.1 Producer 关键参数

acks=all
enable.idempotence=true
max.in.flight.requests.per.connection=1
retries=Infinity
linger.ms=5
batch.size=32KB
compression.type=zstd

4.2 使用 Key = deviceId

可以实现：

自动按照设备归档
保证单设备事件顺序
减少乱序

5.Kafka Streams/Flink IoT 实时计算最佳实践

5.1 IoT 常用流计算模式

指标聚合（温度、湿度、功耗）
实时告警（电压异常、锁具被撬）
状态管理（在线/离线、心跳超时）
趋势预测（滑动窗口、移动平均）
行为分析（机器学习或规则引擎）

5.2 Kafka Streams 推荐配置

num.stream.threads=3
replication.factor=3
state.dir=/ssd/kafka-streams
cache.max.bytes.buffering=10485760

5.3 Window 处理（IoT 专用）

使用 HoppingWindow 或 SlidingWindow
使用 Grace Period 解决乱序事件
device timestamp > server timestamp

6.IoT 消费者（Java）最佳实践

6.1 强制使用 Manual Commit

enable.auto.commit=false

6.2 批量处理后精准提交

consume

最低0.47元/天解锁文章