【Flink】记录一次Flink消费kafka写入Elastic在kerberos认证的情况下不消费问题

最新推荐文章于 2025-06-21 00:15:00 发布
最新推荐文章于 2025-06-21 00:15:00 发布
阅读量597 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-flink 文章标签： kafka flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/125531104
本文记录了一次在Flink从Kafka消费数据并写入到启用Kerberos认证的Elasticsearch过程中遇到的问题。尽管部分数据流能正常消费，但部分流在修改消费组后依然无法读取数据。经过排查，发现日志中未显示界面修改的消费组，并且任务在某些节点上运行时，与Elasticsearch认证相关的流出现异常。最终发现原因是Elasticsearch认证文件未正确分发，导致认证卡死但未报错。解决办法是重新分发认证文件，使得任务恢复正常。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

5Lmd5biI5YWE5ZSv5LiA5Y6f5Yib

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

5Lmd5biI5YWE5ZSv5LiA5Y6f5Yib

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

1.概述

最近在做Flink读取kafka写入到kerberos认证的Elastic，但是却发现kafka无法消费的情况。先说说我们的环境

flink节点
    node1 
     flink目录
     keytab目录
       jaas.conf
       es.keytab

然后我们分发文件到其他的机器
hdfs dananode节点
    node2 
     keytab目录
       jaas.conf
       es
了解本专栏 订阅专栏 解锁全文
【Flink】Flink 控制台能消费 但是 Flink 任务不能消费 内置topic 导致问题
九师兄
10-26 669
一个流任务，在其他环境都正常，但是有个环境突然不正常了，数据消费为0.【Flink】Flink source后全过滤数据导致监控数据为0然后一会直接排除了这个，我们这个没有做限制。然后又看看topic详情，发现topic是正常的。然后控制台消费，是正常的，然后去流任务看看日志，发现日志也是正常的，没有任何报错。【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费。
【Kafka】kafka 客户端 控制台 flink 都无法消费的情况
九师兄
06-24 822
Kafka : kafka无法消费的情况【Kafka】Kafka 奇怪问题之无法用Java 客户端消费我一个flink程序发布到页面后，发现不消费数据。但是我确信数据是有的lag也是存在的，而且使用earliest也不能消费。然后把包换到其他环境是能消费的。然后我本地控制台尝试消费，第一次能消费，然后再次试试就不能消费了然后查看topic详情，发现topic没有任何异常然后试试重启任务。没用修改消费组。没用重启 kafka 没用最后放大招，物理删除 topic然后重建，没用。
Flink AsyncFunction导致的Kafka数据不消费
微信搜：import_bigdata，大数据领域硬核原创作者
01-03 1514
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！问题描述flinksql从kafka读取数据，异步函数加载Mysql数据进行维表关联，最后将数...
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 979
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
【Flink】Flink不消费数据、偶然消费数据、消费组信息查不到
九师兄
03-22 116
一个环境flink读取kafka不消费数据或者偶然消费数据、消费组信息查不到。在数据源节点查看节点每秒消费速率为0，意味着没有消费数据查看topic内部topic都正常，下图为部分查看我们消费的目标topic也是正常的查看消费组信息最后一行为nuknow，这是我们自定义的，意思是查不到查看日志发现无报错信息给这个流新换一个消费组，因为不消费所以没有初始化消费组信息，我们也查不到但是后来不知道什么原因，偶然能消费数据了。
Flink消费Kafka并在Kerberos认证环境下写入Elasticsearch的问题及解决方案
AlianBlank的博客
08-20 435
通过正确配置Kafka和Elasticsearch的Kerberos认证，并在Flink任务中添加相应的Kerberos配置，可以顺利解决在Kerberos环境下的消费问题。本文将详细介绍在Kerberos认证环境下，使用Flink消费Kafka并将数据写入Elasticsearch的问题，并提供解决方案和相应的源代码示例。注意：上述示例代码中的一些配置需要根据实际情况进行修改，例如Kafka和Elasticsearch的地址、Kerberos认证的配置、索引名称和类型等。希望本文对您有所帮助！
【Flink】Flink 消费一段时间1万多条数据就卡死
九师兄
06-21 221
我们有个现场环境，发现了奇怪的现象，就是每次启动任务后，消费1万多条数据后就会卡死，然后整个流不消费，也不往下输出，看起来卡死了一样。缺图这里面出现的网闸原因导致的，但是经过我们写了一个简单的kafka消费程序，然后在出问题的节点上消费数据，实际排查，发现不是这个问题。这个问题，发现也不是，这段时间没有进行过kafka数据清理。里面的问题。因为这个问题，我们后面的代码刻意规范了，不这样操作。后来是在没办法了，然后我们dump了线程，发现有如下代码。
logstash、kafka、hdfs、kerberos整合
文报的博客
04-09 1356
1.logstash整合kerberos kafka input { beats{ port => 5044 } } output { kafka { bootstrap_servers => "datanode1.cloudera.yijiupidev.com:9092" security_pr...
Flink与Redis集成：自定义连接器实现维表创建与数据汇入
数据与算法架构提升之路专栏
01-31 910
本文详细介绍了如何在Apache Flink中通过自定义连接器与Redis进行数据交互，包括创建Redis维表和实现数据汇入。文章展示了如何利用现有的Redis连接器和Flink的动态表特性，通过自定义的Source和Sink，实现流式数据与Redis维表的实时Join操作，以及如何将数据批量写入Redis。此外，还探讨了如何通过缓存优化和复用现有格式来提高性能。
记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理
DL_jianglin的博客
02-09 1012
Flink消费Kafka空转，无法拉取消息。flink空转不是flink的问题，而是kafka客户端版本与集群版本不匹配导致的
flink无法消费kafka消息的一次问题记录
菜鸟很菜的专栏
03-15 4353
flink无法消费kafka的消息，本地开发时也没有错误信息打印，后来排查到注掉addsink()后就可以消费到消息； 继续排查发现是写入hbase的配置中，由于地址无法连通导致的。 ...
【Flink】Flink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常
九师兄
06-11 2325
1.概述 今天遇到一个问题，非常的奇怪。 我一个FLink程序突然不消费数据了。确认有数据正在往kakfka中写入数据，在broker监控中，可以看到确实在写入。 然后在topic看，发现数据没有写入 flink 读取不到数据，flink流任务 没有报错，这个 然后查看消费组卡死 查看topic详情是正常的 模拟对这个topic写入和发送数据是正常的 kafka日志一堆 Rolled new log segment for 消费数据的时候有消息比较大 服务端设置的max.message.si.
Flink Kafka消费者卡顿问题：消费组无法消费数据、无法写入指定topic？
code_welike的博客
08-30 898
本文介绍了Flink Kafka消费卡顿的问题，并提供了相应的解决方案。当消费组无法消费数据、导致topic无法写入时，可以通过增加消费者数量、调整消费者配置和检查网络及资源等方法来解决问题。希望以上内容对解决类似问题有所帮助。注意：本文中的示例代码仅供参考，请根据实际情况进行调整和优化。
Flink SQL 支持 kafka 开启 kerberos 权限控制.
张伯毅的专栏
12-23 1427
1. 无论subscribe 和assign 都需要授权topic . 2. subscribe 方法需要指定group id , 所以需要group id 授权. 3. assign 方法 group id 不是必填项, 不指定group id 的时候, group id 不生效, 指定了之后group id , 权限控制就会生效.
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象
CodeHeroicX的博客
08-28 634
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象大数据处理中，Apache Flink是一个常用的分布式计算框架，而Apache Kafka则是广泛应用于实时数据流处理的分布式消息队列。然而，在使用Flink消费Kafka消息时，有时会遇到一些奇怪的问题，比如消费组死掉、Lag不变、Kafka不提交等。本文将深入探讨这些现象的原因，并提供相应的源代码作为参考。
kerberos认证Flink的kafka connector和kafka client配置
lisacumt的专栏
08-04 4287
flink-connector-kafka 和 kafka client 在kerberos连接方式
Kafka 客户端、控制台和 Flink 无法消费数据的解决方案
2301_79366435的博客
09-17 637
确保将 “your_bootstrap_servers” 替换为实际的 Kafka 服务器地址，“your_consumer_group” 替换为您的消费者组，“your_topic” 替换为您要消费的主题。确保将 “your_bootstrap_servers” 替换为实际的 Kafka 服务器地址，“your_consumer_group” 替换为您的消费者组，“your_topic” 替换为您要消费的主题。例如，如果您的生产者发送的是字符串消息，则消费者的反序列化器也应该是字符串反序列化器。
flink kerberos
dian张
11-13 1710
security.kerberos.login.keytab: /usr/local/keytab/flink/flink.keytab security.kerberos.login.principal: flink/master@AQ.COM security.kerberos.login.contexts: Client,KafkaClient security.kerberos.login...
Flink读写Kerberos认证Kafka环境。
peidezhi的专栏
04-07 6298
Flink比较完美的支持kerberos读写Kafka. 1flink-conf.yaml , 将如下涉及kerberos的配置注解去除 2 代码读写kafka示例如下： def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args)...
数据集底座设计方案 帮我构建一个高效、稳定、可监控、可维护、可扩展的大数据处理平台，以满足达美乐公司中长期门店扩张所需要的数据存储、业务需求、批处理计算、实时流计算、OLAP、数据挖掘、数据可视化、EC大数据量计算需求以及非结构化数据检索等方面的需求。 包含以下功能： 集群资源管理功能 yarn 数据存储功能 hdfs 数据任务调度功能 dolphinscheduler 和 oozie 数据同步功能 datax， spark， flink， sqoop 有界数据集计算功能 spark 无界数据集计算功能 flink 输出层数据集OLAP功能 clickhouse starrocks 非结构化数据集存储检索功能 向量数据库
最新发布
07-02
<think>我们正在设计一个大数据平台底座，需要集成多个组件以满足达美乐公司的需求。以下是一个分层的设计思路，确保高效、可扩展、可监控和可维护。###1.基础设施层-**硬件资源**:使用云服务器或物理机，建议采用分布式架构，至少3个节点起步（可根据规模扩展）。- **资源调度**:-**YARN**:负责集群资源管理和作业调度。YARN支持动态资源分配，适合批处理和实时计算任务。- **Kubernetes(可选)**:如果需要更灵活的容器化部署，可考虑K8s，但YARN在Hadoop生态中更成熟。###2.数据存储层-**HDFS**:作为核心分布式文件系统，存储原始数据、中间数据和结果数据。支持高吞吐量的批处理场景。- **对象存储(可选)**:如S3、OSS，用于存储备份或冷数据，降低成本。 -**分布式数据库**:- **HBase/Kudu**:适用于随机读写和实时查询的场景（如订单状态更新）。-**TiDB (可选)**:如果需要强一致性的分布式关系型数据库，可替代部分MySQL场景。 ###3.数据计算层- **批处理**:-**Spark**:高性能批处理，支持SQL、机器学习等。与HDFS/YARN深度集成。- **实时流处理**:- **Flink**:低延迟、高吞吐的流处理引擎，支持事件时间处理、状态管理，适用于实时监控、实时ETL等。 -**交互式查询**:-**ClickHouse/StarRocks**:用于OLAP分析，支持高并发快速查询。StarRocks在复杂查询和多表关联上性能更优。 ###4.数据同步层-**批量数据同步**:-**DataX**:支持异构数据源（如MySQL到HDFS/Hive）。-**Sqoop**:专为Hadoop设计的关系型数据库同步工具（如Oracle到Hive）。 -**实时数据同步**:-**Flink CDC**:基于Flink的Change DataCapture，实时捕获数据库变更（如MySQLBinlog）。-**Canal/Maxwell**:也可用于实时数据同步，但需配合Kafka传输。 ###5.任务调度层- **DolphinScheduler**(优先选择):-优势:可视化DAG、多租户、支持多种任务类型（Shell、SQL、Spark、Flink、DataX等）、高可用、易扩展。-部署:支持Master/Worker分离，通过Zookeeper协调。 -**Oozie** (作为备选或特定场景):-优势:与Hadoop生态紧密集成，适合简单的定时任务链。-缺点:配置复杂，可视化差。 >**建议**:以DolphinScheduler为主，Oozie仅用于遗留任务兼容。###6.OLAP分析层-**ClickHouse**:列式存储，适合单表聚合查询，写入速度快。- **StarRocks**:新一代MPP架构，支持高并发、复杂查询（多表Join、子查询），兼容MySQL协议。 -**向量数据库** (非结构化数据检索):-**Milvus/FAISS**:用于存储和检索向量数据（如图片、文本嵌入），支持相似度搜索。 ###7.监控与运维层-**监控**:- **Prometheus+Grafana**:实时监控集群资源（CPU、内存、磁盘）、服务状态（YARN、HDFS、Flink等）。-**Zabbix**:补充监控硬件和网络指标。- **日志**:- **ELK(Elasticsearch,Logstash,Kibana)**:集中收集和分析各组件日志。- **元数据与数据治理**:-**ApacheAtlas**:管理数据血缘、元数据，支持审计和合规。- **安全**:- **Kerberos +Ranger**:实现身份认证和细粒度权限控制。###8.可扩展性设计- **水平扩展**:-存储层: HDFS/Kudu支持动态添加DataNode。-计算层:Spark/Flink任务可随YARN资源池动态扩容。- OLAP层: StarRocks支持动态增删节点。 -**组件解耦**:-通过Kafka作为数据总线，解耦生产者和消费者（如实时数据流）。-使用微服务架构部署管理组件（如DolphinScheduler）。###9.部署架构示例```+-----------------++--------------++-----------------+|数据源|----->|数据同步层|----->|数据存储层|| (MySQL,日志等)|| (DataX,FlinkCDC)|| (HDFS, HBase)|+-----------------++--------------++-----------------+|v+-----------------++--------------++-----------------+|任务调度层|<---->|计算引擎|----->| OLAP分析层| |(DolphinScheduler)|| (Spark,Flink)|| (StarRocks,CH)| +-----------------++--------------++-----------------+|v+-----------------++--------------+|向量数据库|<-----|非结构化处理| |(Milvus)|| (Flink/模型)| +-----------------++--------------+ ```###10.关键注意事项1. **版本兼容性**:确保各组件版本兼容（如Hadoop3.x支持Flink1.14+）。 2. **高可用**:- HDFS NameNode HA、YARNResourceManagerHA。-DolphinScheduler多Master+多Worker。3.**数据一致性**:-批处理用Spark确保Exactly-Once。-实时流用FlinkCheckpoint机制。4.**成本优化**:-冷热数据分离（HDFS分层存储）。-自动伸缩集群（根据负载动态调整YARN节点）。>**总结**:该设计覆盖了从数据接入到分析的全流程，且通过分层和组件化保证了可扩展性。下一步可细化各模块配置和性能调优。 §§相关问题§§1.如何确保HDFS和YARN的高可用配置？ 2. DolphinScheduler和Oozie在混合调度环境中的协同工作策略是什么？3.Flink实时流处理如何与StarRocks高效集成？4.向量数据库（如Milvus）如何集成到现有大数据平台中？</think>### 大数据平台底座设计方案 为支持达美乐门店扩张和多样化数据需求，设计一个分层、模块化的大数据平台底座，核心思路如下： --- #### **一、架构分层与组件集成** 1. **资源管理层** - **核心组件**：`YARN`（统一资源调度） + `Kubernetes`（容器化扩展） - **功能**： - 通过YARN管理Hadoop生态资源（CPU/内存），支持动态扩容[^1]。 - 使用K8s部署无状态服务（如Flink、ClickHouse），实现跨集群扩展。 2. **数据存储层** - **结构化数据**： - `HDFS`（主存储）：原始数据、批处理中间结果。 - `TiDB`（事务型数据）：门店订单、库存等ACID场景[^1]。 - **实时分析**： - `ClickHouse`：高并发聚合查询（如销售报表）。 - `StarRocks`：替代ClickHouse处理多表关联查询[^1]。 - **非结构化数据**： - **向量数据库**（如`Milvus`）：存储门店图像/文本特征向量，支持相似性检索。 3. **数据同步层** - **批量同步**： - `DataX`：异构数据源迁移（MySQL → HDFS）[^4]。 - `Sqoop`：关系型数据库与Hadoop间数据传输（Oracle → Hive）[^2]。 - **实时同步**： - `Flink CDC`：捕获数据库变更流（如MySQL Binlog），写入Kafka/HBase。 4. **计算引擎层** - **批处理**：`Spark SQL`（复杂ETL、机器学习）。 - **流处理**：`Flink`（实时监控门店订单流、库存预警）。 - **交互式查询**：`Presto`（跨HDFS/Hive/ClickHouse即席查询）。 5. **任务调度层** - **主调度器**：`DolphinScheduler`（核心优势）： - 可视化DAG编排，支持Spark/Flink/DataX等任务类型[^3][^4]。 - 多租户+资源隔离，保障门店任务优先级。 - **辅助调度器**：`Oozie`（兼容遗留Hive任务）。 - **协同策略**：DolphinScheduler调用Oozie作业，统一监控日志。 6. **监控运维层** - **基础设施监控**：`Prometheus`（实时指标）+ `Grafana`（仪表盘）。 - **任务审计**：`Apache Atlas`（元数据血缘追踪）[^1]。 - **日志管理**：`ELK`（集中采集分析）。 --- #### **二、关键设计原则** 1. **可扩展性** - 存储层：HDFS通过添加DataNode水平扩展；TiDB分片扩容。 - 计算层：YARN队列按门店业务划分，资源按需分配。 2. **高可用保障** - HDFS NameNode HA + Zookeeper选主。 - DolphinScheduler多Master+多Worker，避免单点故障[^4]。 3. **效率优化** - **数据湖加速**： - 使用`Hudi`/`Iceberg`管理增量数据，支持Spark/Flink高效更新。 - **OLAP查询**： - StarRocks物化视图预计算门店指标。 4. **安全与治理** - `Kerberos`认证 + `Ranger`权限控制（HDFS/Hive访问策略）。 - DolphinScheduler对接LDAP实现用户统一认证[^3]。 --- #### **三、部署架构示例** ```mermaid graph LR A[数据源] -->|DataX/Sqoop/FlinkCDC| B(HDFS + TiDB) B --> C{计算引擎} C -->|批处理| D[Spark] C -->|流处理| E[Flink] D & E --> F[OLAP存储] F --> G[ClickHouse/StarRocks] F --> H[向量数据库] I[DolphinScheduler] -.->|调度| C I -.->|调度| A J[Prometheus/Grafana] -->|监控| C K[Atlas] -->|血缘追踪| F ``` --- #### **四、实施建议** 1. **分阶段迁移**： - 先部署HDFS+YARN+DolphinScheduler+Spark基础层，再扩展Flink+StarRocks。 2. **性能压测**： - 模拟千家门店并发写入，验证TiDB和Kafka吞吐量。 3. **灾备方案**： - HDFS数据定期同步至对象存储（如S3）。 > **总结**：该设计通过模块化组件和分层解耦，满足高吞吐批处理、实时分析、非结构化检索需求，且DolphinScheduler为核心调度器显著提升运维效率[^3][^4]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值