Kafka 系列 —（25）物模型 TSL → Kafka Schema 转换模板

最新推荐文章于 2025-12-16 08:45:00 发布

原创

最新推荐文章于 2025-12-16 08:45:00 发布 · 1.5k 阅读

57 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

1. 模板说明

2. 输入：物模型 TSL（JSON）

3. 输出：Kafka Schema（可选三种格式）

A. Kafka Avro Schema 模板

B. Kafka JSON Schema 模板

C. Protobuf Schema 模板

4. 自动转换规则

5. 示例：智能锁（SmartLock）TSL → Kafka Schema

输入 TSL：

输出：Kafka JSON Schema（自动生成）

输出：Kafka Avro Schema（自动生成）

输出：Protobuf（自动生成）

1. 模板说明

此模板用于在 IoT 项目中：

将 设备 TSL 数据模型 （Properties, Events, Services）

转换为：

Kafka Schema Registry 中可用的 Avro Schema、JSON Schema 或 Protobuf

保证：

字段类型对齐
设备端上报字段与 Kafka 流数据一致
避免互联网设备数据格式混乱
为 Flink / Spark / Kafka Streams 提供强 schema

2. 输入：物模型 TSL（JSON）

TSL 示例（阿里云风格）

{
  "properties": [
    {
      "identifier": "batteryLevel",
      "name": "Battery Level",
      "dataType": {
        "type": "int",
        "min": "0",
        "max": "100"
      }
    },
    {
      "identifier": "lockState",
      "name": "Lock State",
      "dataType": {
        "type": "enum",
        "enumValues": {
          "0": "locked",
          "1": "unlocked"
        }
      }
    }
  ],
  "events": [
    {
      "identifier": "doorOpened",
      "outputData": [
        {
          "identifier": "openTime",
          "dataType": { "type": "string" }
        }
      ]
    }
  ],
  "services": [
    {
      "identifier": "unlock",
      "inputData": [
        {
          "identifier": "method",
          "dataType": {
            "type": "string"
          }
        }
      ]
    }
  ]
}

3. 输出：Kafka Schema（可选三种格式）

A. Kafka Avro Schema 模板

{
  "type": "record",
  "name": "${DeviceModelName}",
  "namespace": "iot.smartlock.schema",
  "fields": [
    ${TSL_FIELDS_AVRO}
  ]
}

字段生成模板：

{
  "name": "${identifier}",
  "type": ${fieldType},
  "doc": "${name}"
}

B. Kafka JSON Schema 模板

{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "title": "${DeviceModelName}",
  "type": "object",
  "properties": {
    ${TSL_PROPERTIES_JSON}
  },
  "required": [${TSL_REQUIRED}]
}

字段生成模板：

"${identifier}": {
  "type": "${jsonType}",
  "description": "${name}"
}

C. Protobuf Schema 模板

syntax = "proto3";

message ${DeviceModelName} {
  ${TSL_FIELDS_PROTO}
}

字段生成模板：

${protoType} ${identifier} = ${index};

4. 自动转换规则

TSL 类型	Kafka JSON	Avro	Protobuf
int	integer	"int"	int32
float/double	number	"double"	double
string	string	"string"	string
bool	boolean	"boolean"	bool
enum	string	{"type":"enum",…}	string
struct	object	record	message
array	array	array	repeated