### 错误原因分析
在
Flink SQL 中解析 Avro 数据时，出现 `'Could not find schema with id 4894 in registry'` 和 `'Unauthorized; error code: 40
1'` 错误的原因可能涉及以下几点：
1. **Schema Registry 配置
问题**：
- `'Could not find schema with id 4894 in registry'` 表示 Schema Registry 无法找到指定的 Schema ID。这可能是由于 Schema Registry 中未注册该 Schema 或者 Kafka 消息中引用了错误的 Schema ID[^
1]。
- `'Unauthorized; error code: 40
1'` 表明客户端没有权限访问 Schema Registry。通常是因为缺少正确的认证信息（如用户名和密码）或认证配置不正确[^5]。
2. **Kafka 消息格式
问题**：
- 如果 Kafka 消息中的 Avro 数据未正确关联到 Schema Registry 的 Schema ID，则会导致 `'Could not find schema with id 4894 in registry'` 错误[^3]。
3
. **
Flink 配置
问题**：
-
Flink 在连接 Schema Registry 时需要提供正确的 URL 和认证信息。如果这些信息配置错误或缺失，可能会导致 `'Unauthorized; error code: 40
1'` 错误[^4]。
---
### 解决方案
####
1. 检查 Schema Registry 配置
确保 Schema Registry 已正确启动，并且 Kafka 消息中的 Schema ID 对应的 Schema 已注册到 Schema Registry。可以通过以下方式验证：
- 使用
Confluent 提供的工具检查 Schema 是否存在：
```bash
curl -X GET http://<schema-registry-url>/schemas/ids/4894
```
如果返回 404，则说明 Schema ID 不存在，需要重新注册 Schema[^
1]。
####
2. 配置正确的认证信息
如果 Schema Registry 启用了身份验证，需在
Flink 的 Kafka 连接器中配置认证信息。例如，在创建 Kafka 表时添加以下参数：
```sql
WITH (
'connector' = 'kafka',
'topic' = 'your_topic',
'properties
.bootstrap
.servers' = 'localhost:909
2',
'format' = 'debezium-avro-
confluent',
'debezium
.avro
.schema
.registry
.url' = 'http://<schema-registry-url>',
'debezium
.avro
.schema
.registry
.basic
.auth
.credentials
.source' = 'USER_INFO',
'debezium
.avro
.schema
.registry
.basic
.auth
.user
.info' = '<username>:<password>'
)
```
上述配置中，`<username>` 和 `<password>` 是 Schema Registry 的认证凭据[^5]。
#### 3
. 确保 Kafka 消息格式正确
检查 Kafka 生产者是否正确地将 Avro 数据与 Schema Registry 关联。如果生产者未正确设置 Schema ID，可能会导致解析失败。可以使用以下命令检查 Kafka 消息内容：
```bash
kafka-avro-console-consumer --bootstrap-server localhost:909
2 --topic your_topic --from-beginning --property schema
.registry
.url=http://<schema-registry-url>
```
如果消息内容为空或格式不正确，需调整 Kafka 生产者的配置[^3]。
#### 4
. 升级
Flink 和 Kafka 连接器
如果使用的
Flink 或 Kafka 连接器版本较旧，可能存在兼容性
问题。建议升级到最新版本，特别是
Flink 1.12 及以上版本对 Avro 和 Schema Registry 的支持更完善[^5]。
---
### 示例代码
以下是一个完整的
Flink SQL 创建表的示例，包含 Schema Registry 认证配置：
```sql
CREATE TABLE kafka_table (
`id` INT,
`name` STRING,
`timestamp` TIMESTAMP(3)
) WITH (
'connector' = 'kafka',
'topic' = 'your_topic',
'properties
.bootstrap
.servers' = 'localhost:909
2',
'format' = 'debezium-avro-
confluent',
'debezium
.avro
.schema
.registry
.url' = 'http://<schema-registry-url>',
'debezium
.avro
.schema
.registry
.basic
.auth
.credentials
.source' = 'USER_INFO',
'debezium
.avro
.schema
.registry
.basic
.auth
.user
.info' = '<username>:<password>'
);
```
---
###
本文介绍了在处理Flink-Kafka-Avro模块时遇到的错误，提出解决方案是在Maven配置文件中添加Confluent仓库地址，将其置于阿里云镜像仓库之后，以解决io.confluent相关问题。
扫一扫
2147
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
